対数周辺尤度について次の2つの関係が成り立つ。(1)(2)(1)は1を掛けただけ、(2)はベイズの定理で対数をとっただけである。ここで、(2)を(1)に代入する。カルバック・ライブラー情報量であり、2つの分布の近さを表す。二つの分布が一致する時にのみ0となる。カルバック・ライブラー情報量の観点から接近し、結果として得られるq(Z)は事後分布の近似となる。よって、変分ベイズとは次の問題として定式化される。q(Z)のことを変分事後分布と呼ぶ。定式化は以上だが少し補足する。ここで、Fを分解してみる。Unknownな変数が与えられた時の対数尤度で、完全データの対数尤度と呼ぶ。第1項の最大化は、「データとUnknownな変数の尤もらしい組合せを、期待値として評価して探せ」ということになる。平均エントロピー、すなわち分布のフラットさを表している(離散変数であれば、一様分布が平均エントロピー最大)。よって、第2項の最大化は、「変分事後分布が出来るだけフラットになるようにせよ」ということになる。完全データの対数尤度の期待値は、変分事後分布がシャープなほど大きくなるが、エントロピーは変分事後分布がシャープなほど小さくなる。第1項と第2項は互いに対立する評価値で、変分ベイズはバランス点を探していることになる。第1項だけを考えてはいけないか?それが変分ベイズ導入のモチベーションである。第一項を最大化するZを一点で推定するアルゴリズムをEMアルゴリズムと呼び、最尤法によるオーバーフィッティング問題が顕在化するためである。変分ベイズにおいては第2項が、オーバーフィッティングを回避するための正則化の役割を果たしている。以上が変分ベイズによる事後分布近似方法の定式化になります。この解き方はまた今度。