ベイズ推論はじめにタイトルの通りです。以下の本を一通り読んだので、再度読む際の手助けになるようメモを残します。見るまだ理解が怪しい部分も多々ありますが、取りあえず忘れる前に。全体を通してのポイントベイズ推論の枠組みベイズ推論においては、観測データも分布のパラメータ、回帰等の重み係数も潜在変数も確率変数として扱う。した時、以下の2ステップを行うのがベイズ推論の枠組み。計算この事後分布を求めることがベイズ推論における「学習」。ベイズ推論は全てこの枠組みの中で扱われるので、後は如何にモデリングするかと、如何に求めたい確率変数の事後分布を計算するか、という話になる。モデルが複雑な場合、事後分布は解析的に求められない場合もあるので、その時は変分推論やギブスサンプリングなどを使って近似的に事後分布を求める。対し、何らかの知見を得たい場合もある(知見の内容はタスクによって異なる。その時は以下の予測分布を計算する。基本的にこの章は後の章で語られる内容のアウトラインが載っている。き分布また、独立の諸概念も重要。各確率密度関数については書籍を参照するとして、取りあえず期待値が大事。エントロピーとかKLダイバージェンスとかも大事だけど、期待値がわからないと後々お話にならなくなる。期待値を取る関数に出てこない確率変数は、期待値計算から外せることは重要。同時分布の期待値とか、条件付き期待値とかは込み入ってくると混乱するので注意。)も、後々の章(特に4章、5章の変分推論辺り)で何度も使う。本当に何度も使うので、何度も見返す。3章2章で挙がっている確率分布の各パラメータおよび線形回帰の重み係数をベイズ推論の枠組みで推定する章。事前分布として共役事前分布を使うので、(この章で示されている問題については)事後分布が解析的に計算でき、しかも事前分布として同じ形の分布で求まるので、データを得るたびに逐次的に更新することも可能。定数として扱うことが可能(後から帳尻を合わせる)。観測データが独立だと仮定(後の章で観測データ間にも独立ではないモデルもあり)また、計算のテクニックとして、以下のようなものが使われている。モデリングしたものが生成モデル。観測されたデータに多峰性が見れられる場合、これを単一の分布のみで表現しようとしても、うまく表現しきれない。等のようにモデリングする。そのため、近似的に事後分布の推定を行う。とサンプリングこの操作を繰り返すこの繰り返し回数が十分に多い場合、真の分布に近づくことが知られているため、繰り返し続けると所望のデータをサンプリングできるようになる。十分にサンプリングしやすい分布である必要があるので、式を展開して2章で挙がっているような基本的な分布を導かないといけない(モデルによってはそれができないこともあるので、共役事前分布を使うと幸せになるというのはここに繋がる)。等のように、各確率変数間の独立性を仮定した分布で近似するのが変分推論。求めればよく、それはとして計算できる(あくまで、上記モデルに対する近似式。一般的な表現は書籍参照)。こちらも一方の結果を用いで、もう一方の計算を行う形になっているため、更新を十分な回数繰り返す必要がある。実際には、下記のような式展開して期待値を解析的に求める。何分布の関数かがわかるまで式を展開する。全ての近似分布の形がわかったら、それぞれの期待値を計算する。これまた2章で計算済みの各分布の基本的な期待値を流用する。ここでもギブスサンプリングと同様、期待値を解析的に計算するために、2章で挙がっているような基本的な分布を導く必要があるので、やはり共役事前分布を使った方がハッピー。サンプリングするだけでよくなる。周辺化した結果が十分にサンプリングしやすい確率分布になることが条件。個の潜在変数を同時にサンプリングしなければならず計算量が莫大になる。全て観測済みとして、個別にサンプリングするアイデアで解決。各種応用に対して、モデルの構築と変分推論(一部ギブスサンプリング)を導出している。いう線形変換で生成されると考える。既知のものとして話を進めているが、ガンマ事前分布など使って推定してもよい)。いう非負値の行列に近似分解することを考える。考えることで、効率的な変分推論が導き出せる。事前分布はガンマ分布を考える。隠れマルコフモデルこれまで観測データ間はたがいに独立して得られるものとして扱っていたが、時系列データ等ではその仮定は成り立たない。クラスタ割り当ての潜在変数として持つ混合分布)。いうモデルを構築する。分離せずに近似する構造化変分推論がある(その中間であるミニバッチを使った近似もあり)。前者は特別なことをせずに、変分推論の期待値を導き出せるが、後者はうまいこと式変形してフォワードバックワードアルゴリズムと呼ばれる動的計画法が使える形に持っていかないと、計算量が増大する。トピックモデル複数の文書を観測データとして、単語の出現頻度を元に文書を解析。各文書中には複数の潜在トピックが存在すると仮定。カテゴリ分布に従うと仮定。トピック割り当て自体もカテゴリ分布に従うと仮定し、これらのカテゴリ分布のパラメータはディリクレ事前分布に従うモデルを構築。後は頑張って変分推論の期待値計算。協調フィルタリングに時間軸を導入し、その時のトレンドを踏まえた推薦を行うようにしたモデル。時間方向の軸には前回の状態を平均とするガウス分布を仮定(線形動的システム)。考えているので、推論計算自体はこれまでと同様。ロジスティック回帰、ニューラルネットワークロジスティック回帰、ニューラルネットワークのベイズ推論版。これまでの近似(平均場近似)とは違い、ガウス分布で事後分布を近似。変分パラメータを用いた勾配法で真の分布とのKLダイバージェンス最小化を行う。この勾配法を使うため、再パラメータ化トリックを使うが、これが良く分からない。おわりに兎にも角にもわかりやすいです。式展開がわからなくなって何度も行ったり来たりしましたが、PRML10章で卒倒した僕でも割りと短期間で最後まで行けたので、ベイズ推論の入り口として、適切な書籍の1つだと思います。機械学習自体の入門としては少ししんどいので、機械学習全体を俯瞰したのち、その1つの枠組みとしてベイズ推論があると捉えられるようになった上で、読むべきかなと思います。あけましておめでとうございます。今年は『有言実行』...2018-01-03NIPS2017論文メモお久しぶりです。2014年9月以来、実に3年ぶりの更新です。しば...2013-01-01ICML2012の論文をいくつか3行程度で紹介するあけましておめでとうございます。明けましておめでとうございます。)注目記事はてなブログをはじめよう!YamagenSakamさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。