機械学習に詳しくなりたいブログスマートフォン用の表示で見る機械学習に詳しくなりたいブログ機械学習や数学について勉強した内容を中心に書きます。記事は数学的に厳密でなかったり誤りを含んでいるかもしれません。ご指摘頂ければ幸いです。誤差関数からカーネル関数を導きました。今回は、別のアプローチで回帰分析を行ってもやはりカーネル関数が導かれることを見ていきます。推定することを考えます。すれば、カーネル密度推定法の式(13)より、と書けます。平均値を予測値とすれば良さそうです。式(3)は確率密度関数に対する期待値の計算を定義どおりに行っているだけです。式(1)よりですから、式(3)はです。式(10)よりですから、式(5)に代入すればとなります。式(1)を式(7)に代入すれば、となります。対してが成り立つとします。式(9)は平均値の計算です。中心0の正規分布と考えれば、とりあえずイメージが湧きそうです。代入すれば、となり、式(11)を式(8)に代入すると、となります。ここでと書くことにすれば、と書けます。定数で表されることがわかります。別のアプローチでも正則化最小二乗法からの導出と同じ結果となりました。式(16)を用いた回帰分析をカーネル回帰、またはNadaraya-Watsonモデルと呼ぶようです。最後のほうはなんか騙されたような気になっちゃったんですが。カーネル関数って内積として定義したんじゃなかったっけ、式(15)はカーネル関数とみなせるのか?とか(参考:カーネル法)。なるはずだから、やっぱりカーネル関数、という理解をしました。合ってるのかな?あんまり自信がない。固定したときの分布の平均値を予測値とするというだけです。次回プログラムを書いて実験してみたいと思います。カーネル回帰分析(2)実験結果この実験結果を見てからのほうが、この記事でやっていることのイメージが湧きやすいかもしれません。21:56カーネル回帰分析(1)Tweet関連記事2019-06-22ガウス過程による回帰(2)ガウス過程による回帰(1)の続きです。引き続きカーネル法を勉強しています。今回の目的は、線形回帰...2019-03-12カーネル法による正則化最小二乗法(1)先回、カーネル法でカーネル関数の定義を確認しました。今回からカーネル法を勉強していきます。カーネル法とはカーネ...2019-02-24カーネル密度推定法パターン認識と機械学習(下)のカーネル法を勉強しています。月別アーカイブスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。