機械学習に詳しくなりたいブログスマートフォン用の表示で見る機械学習に詳しくなりたいブログ機械学習や数学について勉強した内容を中心に書きます。記事は数学的に厳密でなかったり誤りを含んでいるかもしれません。ご指摘頂ければ幸いです。2018-05-13フィッシャーの線形判別(1)線形識別フィッシャーの線形判別は、これ自体は判別・識別の手法ではなく、各クラスのデータの分離を保ちつつ次元圧縮する手法のようです。多次元のデータを扱うのは大変なので、次元圧縮して計算を楽にしようということでしょうか。今回は2次元の入力を1次元に圧縮する場合を考えていきます。2クラスのデータを考え、で1次元に射影するとします。先回までに考えた線形識別とは異なり、ダミー入力は入れません。どのような線上に射影すれば最も分離しやすくなるか?を考えていきます。イメージは以下のアニメーションです。上のグラフは赤色のクラスと青色のクラスのデータで、緑色の直線に射影した時の点が下に表示されています。これくらいの単純な例だと、目視でなんとなく良さそうな直線が見つけられそうですけどね。個あるとすると、平均ベクトルはと書けます。解とするというのが1つの方法です。平均ベクトルを式(1)で射影した値です。式(3)を最大にするということは、各クラスのデータの中心点が最も離れるように射影するということです。どれだけでも大きくなってしまうためです。各クラスのデータのばらつき具合によっては必ずしも最適な解にはなりません。見た目の判断ですが、先程のアニメーションの例でもそうなっていると思います。平均ベクトルの距離が近寄りながら、ばらつきも小さくなっていき、最適な分離が現れていそうです。射影後の分散は小さく、そしてデータの中心点は遠くとりたいということですね。この続きはフィッシャーの線形判別(2)です。識別することを考えます。線形識別を最小二...2018-07-15確率的生成モデル(2)確率的生成モデル(1)の続きです。次元を削減する手法であるKL展開を実験してみました。月別アーカイブスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。