Autoencoder)(2018-12-11)生成モデルというのはデータの分布をモデリングしてそこから新しいデータを生成するもの。(ε~N(0,1))の潜在変数に変換して生成モデルへの入力とし、その出力の尤度が最大化するように学習させる。Autoencoderという名前はこの分布を推論して生成する流れがAutoencoderの形式と似ているところから来ている。これによって次元削減された潜在変数zが得られる。推論モデルの確率分布をq、生成モデルの確率分布をpとする。対数尤度log{p}を計算したいが潜在変数zが訓練データにないので周辺化する(1)。これを変換していくと(2)のようになり、第二項のKL情報量は0以上の値になるので第一項のLを最大化することが対数尤度の最大化につながる。これを最大化させることで尤度の下界を引き上げていく。sambaiz-net生成モデルがベルヌーイ分布、p(z)が標準正規分布とするとELBOは次のようになる。よってp(z)とq(z|x)が近づくように学習し正則化され、zの各次元が独立になっていく。これにβ>1を掛けるとさらに独立性が増し、次元ごとに、人であれば性別や年齢のような、disentangle(もつれを解く)された特徴を持つことができる。これをβ-VAEという。sambaiz-netVAEは分布を仮定して尤度によって学習するため、真の分布にはないところの生成データが良くない問題がある。Networks)があって、これはデータの分布を仮定せずより近い分布から良いデータを生成するのを目指す。