reports検索:自己紹介akip:会社員ときどき研究者。本サイトは、掲載された情報の正当性およびそれらを利用した結果については、一切の責任を負いません。本サイトの情報は、各自の判断と責任においてご利用ください。cont.前回の補足。(たぶん)実装可能なメモ書きがこちら。psuedoコード代わりのRコード。データを入れれば、一応動くけれど、ナイーブな実装なので超遅い(Rでも)。書くと、とても格好良い。Mixture(DPM)。ノンパラメトリックベイズ推定の1つである。Models”に詳しい。Processを混合モデルの事前分布に置くことで、理論的には無限の混合が可能になる・・・らしい。原理を理解するには、測度論という抽象数学が必要かつ自分にはハードルが高すぎなので、諦めてそういうものかと納得して使っている。DPMは、実利的には、データの複雑さに応じてモデルの混合数を自動的に推定するための枠組みである。正規分布の尤度関数+Normal-inverse-Wishartのパラメータ分布に対して、実行するとこんな感じになる。左下の図が、分割数の学習による変化を表したグラフである。最初は単純な混合モデルに始まり、次第にデータに適した形で複雑さを学習していっていることがわかる。通常の混合正規分布推定の場合、混合数は予め与えられていなければならない。混合数として、データ数Nを指定しておけば、同じことは一応できるが、全要素について計算しつづけなければならず、負荷は非常に大きい。DPMの場合は、現時点の混合数K+1のみを扱えばよいので、遥かに効率的である。Learningのようにブラックボックスなモデルよりも、こういうわかりやすい(?)モデルのほうが好き。10.1の穴埋め、ラストです。話の流れは以下になります。導出(この記事)今回は、前々回に定式化した変分ベイズの汎関数最大化問題を、変分法によって解きます。ここで、たった一つだけ仮定を入れます。互いに独立であるというものです。手計算できる場合、他の手法により効率的に近似事後分布を発見できる場合、など任意の変数間の非独立性を仮定しても構いません。ここでは、とりあえず全ての変数が独立であるとの仮定から話をしていきます。入れるのですが、煩雑になるので、省略します。入れて解いてもただ表記が面倒なだけで、本質的なむずかしさはありません。変分事後分布の導出まず、変分ベイズの計算をするにあたって1つの仮定を行う。おいてそれぞれ独立である。ついての次のような汎関数となり、前回の変分法で対象としている汎関数の形態に一致する。(4)まず、停留条件から計算する。「除く」分布上での期待値である。以外の項をまとめている。本来、ここにラグランジュの未定乗数が加わり、正規化項を構成するので任意でよい。以上から、次の関係を得る。10.1の10.9式と同値である。最後に極大条件を確認しておく。(8)以上で、当初の目標のPRML10.1の穴埋めである「変分ベイズの定式化から近似事後分布の導出」は完成です。(7)式は独立を仮定した確率変数の数だけ出てくるので、それらを連立して解いていきます。これは完全に問題依存で、紙をたくさん消費してがんばります。10.1の穴埋めです。話の流れは以下になります。下での事後分布近似問題の定式化を行いました。今回は、この最大化問題を解くためのツールとしての変分法の紹介です。そんなに勉強したわけではないので、変な所があれば指摘歓迎です。参考にしたのは、次の2冊です。必要十分な感じでとても読みやすかったです。物理の実例が多めですが、行間もちょっと多めかも?webリソースでは、こことかここが参考になりました。準備:変分法(1)のような状況を考える。ことを変関数と呼ぶ)。求める問題を変分問題といい、通常の関数の極値を求める問題に対応する。ここでは、最大化問題に限定しておく。関数として次のように定義する。一致する点で、二次までTaylor展開する。還元されることに注意する。後は、Taylor展開そのままである。微小変化量を表現する関数が構成できた。極大であるための条件は次の2つである。負値にならなければならない。正負値を取りうるので、0にならなければならず、条件1が与えられる。これを停留条件と呼ぶ。条件2は第一変分を0とした結果から、第2変分を負にすることが要請される。極大であるための条件である。(6)は任意なので、(6)式が恒等的に0になるためには、次の条件を満たせば良い。