動いて、とってもかわいい!Hinton先生のありがたいPracticeはほとんど反映されていない超簡易実装R版。混合分布推定に比べるとかなりシンプルで驚いた。プログラムにミスがあったので修正。勾配法の更新量を調整して安定化。Machineのプログラムを組んでみたのだけれど、上手く学習ができない。learningの勉強をしなければと思い立ち、1次元ガウスの場合で計算をしてみた。下図は、ガウスの平均と精度パラメータの学習過程である。descent版の最尤推定と比較してみると、学習が遅いことがわかる。下図のように尤度でみると、毎イテレーションで、基本的に単調増加はしている。Divergenceの超荒い近似であるようだ。Samplingが必要なため、さらにその近似精度が下がるであろうことは推測できる。学習には忍耐が必要・・・ということか。いうことで、CD学習が正しく機能することは分かったので、もう少し頑張ってみようかな。2.0というスタイラスでトライしてみた。2〜3年前に検討したときのiPadでノートを取ろう計画の満足度は10/100点。細い字がかけるようなスタイラスはなかった(と思う)し、アプリの筆記入力に対するレスポンスも遅すぎた。今回は、及第の60点くらい。自分的には、実用できるレベルになった。細い字も描きやすいし、入力レスポンスもかなり早くなった(若干ディレイがある)。コメントを残すInverse-Wishart分布からInverse-Gamma分布への還元Wishart分布がGamma分布の多変量拡張なので、Inverse-Wishart分布からInverse-Gamma分布への還元が成立するのは当然なのだが備忘録として、この変形を残しておく。freedom)の重みが2倍違っている。同じ有効観測数のpriorを考えたときに、Inverse-Wishart分布のpriorとしての重みは、Inverse-Gamma分布のpriorとしての重みよりも小さい。同じ有効観測数なのにと思って使っていたら、Wishart分布の挙動が不安定すぎて気づいた事実でした。