機械学習に詳しくなりたいブログ機械学習に詳しくなりたいブログ機械学習や数学について勉強した内容を中心に書きます。記事は数学的に厳密でなかったり誤りを含んでいるかもしれません。ご指摘頂ければ幸いです。先回、カーネル法でカーネル関数の定義を確認しました。今回は正則化最小二乗法の誤差関数を式変形する過程でカーネル関数が現れるっていうことを確認します。線形回帰における正則化最小二乗法の誤差関数はでした。式(1)は、のように展開できます。途中の式は最小二乗法の解の導出の式(6)~(7)とほとんど同じですので省略します。入っているので、解が求まったわけではありません)。ここでとおくと、となります。これを式(2)に代入すると、となります。書き換えたことを双対表現と呼ぶそうです。呼び方はいいんですが、1つ1つ式を追っていけば、式(9)となることはそんなに難しい計算ではありません。個の訓練データを行で並べたものでした。列はモデルの次元です。番目のデータの内積となっています。すれば、のようにカーネル関数を使って書くことができます。式(10)を式(9)に代入すれば、となります。あることに注意すれば、ベクトルの微分よりとなりますから、と求められます。モデル化していましたので、式(7)よりとなります。線形結合となっていることがわかります。これの何が嬉しいのかというと。通常の正則化最小二乗法では、モデルの次元が高くなればなるほど計算量が増えていきます。極端な話、100万次元のモデルを考えると100万×100万の行列を扱わないといけないのでもはや計算不可能です。カーネル法を使えば、100万次元のモデルだろうが訓練データ数が現実的な数字なら計算可能になります。この辺の高次元の話の恩恵はあんまり実感が沸かないというか、これが必要となる場面がまだ具体的に想像できませんが、、、。次回カーネル法を使って線形回帰を解いてみたいと思います。前回の記事の続きです。線形識別を最小二乗法で計算した場合の解を導出します。1引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。