機械学習の中でも有名なサポートベクターマシンについて理解するためには、ラグランジュの未定乗数法を理解する必要があります。ところが、このラグランジュの未定乗数法を理解するのはなかなか厄介です。そこで、今回はその必要性と、公式の背景を理解できるようになることを目的とします。Udemyの関連講座リンクリンク偏微分するだけでは制約条件付きの最小化問題は解けないサポートベクターマシンは、与えられたデータを2つのグループに分類するためのアルゴリズムです。このアルゴリズムは、ある関数を制約条件の下で最小化する問題に帰着します。サポートベクターマシンでなくても、制約条件下で関数の最小値を求める問題は多く存在します。通常、関数の最小値を求めたい場合、その関数の偏微分をゼロと置いた式を解けば求まります。0が関数f(x,y)の最小値になります。0という制約条件が付くと、もはやこの手法は使えません。≠0なので、制約条件を満たしません。f(x,y)をxとyで偏微分してゼロと置く方法では、制約条件付きの最小化問題は解けないのです。ラグランジュの未定乗数法を取り合えず信じて問題を解いてみるラグランジュの未定乗数法のアルゴリズムそこで役に立つ方法がラグランジュの未定乗数法です。0の3つの偏微分方程式を解けば、f(x,y)を最小にするxとyが求まるという定理です。この定理を信じて2つの簡単な例題を解いてみましょう。例題1制約条件g(x,y)=x+y-1=0の下で、f(x,y)=x2+y2の最小値を求める。