動いて、とってもかわいい!Hinton先生のありがたいPracticeはほとんど反映されていない超簡易実装R版。混合分布推定に比べるとかなりシンプルで驚いた。プログラムにミスがあったので修正。勾配法の更新量を調整して安定化。Machineのプログラムを組んでみたのだけれど、上手く学習ができない。learningの勉強をしなければと思い立ち、1次元ガウスの場合で計算をしてみた。下図は、ガウスの平均と精度パラメータの学習過程である。descent版の最尤推定と比較してみると、学習が遅いことがわかる。下図のように尤度でみると、毎イテレーションで、基本的に単調増加はしている。Divergenceの超荒い近似であるようだ。Samplingが必要なため、さらにその近似精度が下がるであろうことは推測できる。学習には忍耐が必要・・・ということか。いうことで、CD学習が正しく機能することは分かったので、もう少し頑張ってみようかな。