機械学習に詳しくなりたいブログ機械学習に詳しくなりたいブログ機械学習や数学について勉強した内容を中心に書きます。記事は数学的に厳密でなかったり誤りを含んでいるかもしれません。ご指摘頂ければ幸いです。概要ニュートン法は、f(x)=0の解αを求める数値計算法で、最急降下法に比べて収束が早い特徴があります。ニュートン・ラフソン法とも呼びます。この記事では多変数の場合におけるアルゴリズムについて記載しています。次元数分の連立方程式が必要です。解を求めるニュートン法の更新式を求めます。機械学習においては連立方程式の解を求める更新式よりも、勾配が0となる解を求める更新式のほうが重要度が高いのではと思います。1変数の場合は以下の記事に記載しました。www.iwanttobeacat.comアルゴリズムの続きです。今回は多変数のニュートン法です。1次近似し、近似解を求めることを考えます。おける1次近似は、接線、接平面の公式によりです。代入したものを表します。行列式でまとめて書けば、となります。代入したものを表します。式(3)を整理すれば、となり、1次近似による近似解が求められました。1変数のときと同様に、これを繰り返せば真の解に近づいていきます。置き換えれば、となります。おけるヘッセ行列になっています。勾配の記号を用いれば、となります。ニュートン法(1変数の場合)の式(4)を多変数に拡張した形になっています。以上をまとめると、の解を求めるニュートン法のアルゴリズムの初期値を設定する。