機械学習に詳しくなりたいブログ機械学習に詳しくなりたいブログ機械学習や数学について勉強した内容を中心に書きます。記事は数学的に厳密でなかったり誤りを含んでいるかもしれません。ご指摘頂ければ幸いです。2次関数のヘッセ行列といいます。ヘッセ行列は2階微分(参考:ベクトルをベクトルで微分の定義とヘッセ行列)を指すことが多そうですが、2次形式の対称行列もヘッセ行列と呼ぶようです。今回はこのヘッセ行列を使って2次関数の最大値、最小値の存在を判定する方法を確認します。任意の2次間数は、平行移動することによって2次の項と定数のみで表すことができます。任意の2次形式は対称行列を使って表すことができます。形を考えれば十分です。変換すると、となります。式(2)はとなります。ここで2変数の場合を考えます。して式(3)を書き出せば、となります。この変形によって、何が行われたのか?は以下の図がわかりやすいです。図中の曲線は2次関数の等高線を表しています。元の2次形式でも何らかの方法によって最大値/最小値の存在を判断することはできると思いますが、座標変換によって二乗の項以外を無くしてしまうことで、その係数の正負だけを見れば判断できるようになります。共に負のときに唯一の最大値をとります。符号が異なるとき、以下のようなグラフになり、最大/最小値を持ちません。固有値が全て正の対称行列を正定値行列、全て負の対称行列を負定値行列といいます。以上より、2次関数のヘッセ行列が正定値行列なら、唯一の最小値をとり、負定値行列なら唯一の最大値をとる、ということが確認できました。変数の場合でも成り立ちます。カーネル法による...2020-01-02正定値行列の和です。全ての固有値が正の対称行列を正定値行列と呼びます。これは、2...2019-12-28ガウス過程による分類(5)ガウス過程による分類(4)の続き。1引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。