機械学習に詳しくなりたいブログ機械学習に詳しくなりたいブログ機械学習や数学について勉強した内容を中心に書きます。記事は数学的に厳密でなかったり誤りを含んでいるかもしれません。ご指摘頂ければ幸いです。この記事ではロジスティック回帰をニュートン法で解を求めるためのヘッセ行列(二階微分)を求めます。定義し、その偏微分がであることを確認しました。今回は、ニュートン法によって最適解を求めるため、交差エントロピー誤差のヘッセ行列を求めてみます。次元目の要素を意味しています。すれば、合成関数の微分を使ってです。次元ベクトルなら、ベクトルをベクトルで微分の定義より(参考:ベクトルをベクトルで微分の定義とヘッセ行列)、です。ここでとすれば、式(8)はと書くこともできます。重み付け行列と呼ばれるようです。式(8)と式(11)が等しいことは書き出してみれば簡単に確認できます。相変わらずこういうのに慣れなくて、頭の中で計算できません、、、。ヘッセ行列が求められましたから、次回これを用いてニュートン法によりロジスティック回帰の解を求めてみたいと思います。交差エントロピー誤差は凸関数であり唯一の最小値を持ちます。微分するだけで良いようです。それはまあそうなんですけど。微分すれば式(12)のように計算できますが、、、そういう考え方でいいのかな?何か勘違いしている点があればご指摘ください。20:16Tweet関連記事2019-12-28ガウス過程による分類(5)ガウス過程による分類(4)の続き。求められましたので、ラ...2018-09-29出力ユニット活性で微分(多クラス分類)前回の続き。ニューラルネットワークで回帰モデル、2クラス分類...2018-09-22出力ユニット活性で微分(2クラス分類)前回の続き。多クラスロジスティック回帰の続きです。1引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。