式(5)、式(8)、式(9)に記している事後分布そのものです。あるそれぞれの予測分布を求めたいので、式(16)よりを求めればよいことになります。これは、ガウス・ウィッシャート分布を事前分布として用いた場合のガウス分布の予測分布計算になります。こちらも予測分布導出は書籍に載っているので、導出過程は省略し最終形を示します。こちらも同様に、となります。条件付き独立性を利用しました。この式(19)は、ディリクレ分布を事前分布として使ったカテゴリ分布の予測分布です。いうことで、この予測分布についても導出過程は割愛し最終形を示します。番目のデータが与えら手た時の予測分布の更新式は、式(14)、式(17)、式(20)、式(21)よりとなります(各超パラメータは式(12)、式(21))。代入し、得られる値を合計が1になるように正規化すればよいです。実装ということで実装です。sクラスmixture_gaussian_classifierは、ここまで述べてきた学習(train)と予測平均の算出(test)を行うクラスです。multivariate_student_t多次元のスチューデントのt分布のクラスで、この実装については、以下の記事の内容を参考にさせてもらいました。memo実験・結果ということで、以下のようなコードを組んで実験してみました。偏りを持たせています。事後分布を逐次学習できるようにしたので、学習データが与えられるたびに予測平均がどのように変化するかをアニメーションにしてみました。main()そして、こちらが結果です。この図で、各色がそれぞれのクラスを表し、追加されていく各点が学習データを表しています。背景色が予測分布が算出した各座標点の各クラスへの所属確率を表しています。左上に辺りの領域に着目すると、最初の方は青色のクラスと予測されていましたが、青と緑のクラスのデータを観測していくにつれ、緑色のクラスだと予測されるようになっていくのがわかります。これは青色のクラスが左下から右上にかけての共分散が大きいのに対し、緑色のクラスの共分散が左上から右下への共分散が大きく、その特徴をサンプルが増えるにつれ、正しく推論できるようになっていくためだと考えられます。まとめ今回、ガウス混合分布を用いた教師あり分類をベイズ推論の枠組みを適用して実装してみました。教師ありの分類の場合は、ガウス混合分布モデルによる予測は解析的に求めることができます。ベイズ推論の枠組みで分類を行う場合は他にもロジスティック回帰をベイズの枠組みで定式化する方法などがあります。今後は、このベイズロジスティック回帰を含めもう少し複雑なモデルを学び実装していきたいと思います。以下の本を一通り読んだので、再...2018-01-03NIPS2017論文メモお久しぶりです。2014年9月以来、実に3年ぶりの更新です。明けましておめでとうございます。)注目記事はてなブログをはじめよう!YamagenSakamさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。