ような記事が上がっていまして、小説生成を目論む私としては気になって論文にも目を通してみたのですが、どうやら生成モデルを利用しているらしいということしか分からず、理解が足踏みしてしまっています。周りでは生成モデルが流行ってるようで、DCGANを使ってイラストを自動で生成するアルゴリズムが年末にバズっていたように、この周辺はじわじわホットトピックになってきている感があります。なくベイズ統計周りの知識が必須になります。利用するだけならどなたかが実装するのを待てばよいのですが、新しくでた論文の内容を実装してみようと思うと、ベイズの基礎くらいは必要な印象を受けました。Modelsのテキストを使用して、ベイズ統計について学んでいきたいと思います。こちらのテキストは日本語での解説動画が上がっていますので、こちらもご参考ください。www.udemy.com前置きが長くなりましたが、今回はモデルのフィッテングに使用される、最尤推定、MAP推定推定、ベイズ推定について書いていきたいと思います。下記のように観測値の尤度が最大化するようなパラメーターを推定します。計算すれば良いので簡単に求めることができます。例として観測変数が正規分布から生成されるようなモデルを考えます。解析的に簡単に求める事ができ、下記のようになります。見ていただいてわかるように、それぞれ観測点の平均と分散になります。以上が最尤推定による学習の概要となります。MAP推定MAP推定は、事後確率を最大にするパラメーターを推定する方法です。式は下記のようになります。求める際には不要なので除いています。最尤推定法と比較してみると、事前確率が推定に影響を与えるかどうかの違いがあります。計算することで求めることができます。これは最尤推定の時と同じですね。例として観測変数が正規分布から生成されるようなモデルを考えます。正規分布の共役事前分布である逆ガンマ分布であると仮定します。求めることができ、下記のようになります。逆ガンマ分布のハイパーパラメーターです。注目していただくと分かりやすいように、事前分布の情報の分、最尤推定の時と比べてハイパーパラメーターで推定値が補正されています。以上がMAP推定による学習の概要となります。ベイズ推定ベイズ推定は、観測値にが当てられた時にパラメーターの事後確率分布を推定する方法です。先程までの最尤推定やMAP推定はベイズ推定がパラメーターの分布を推定するのに対して、最大になるパラメーター一点のみを推定するので点推定と呼ばれます。ベイズ推定の式は下記のようになります。ここで求めたパラメーターの事後分布を用いて新しい値の評価を行いますが、この評価の仕方も点推定の場合とはかなり異なります。ベイズ推定では、ある値が観測されるようなモデルに新しく観測された値がフィットするかを評価します。式は下記のようになります。}]例として観測変数が正規分布から生成されるようなモデルを考えます。MAP推定の時と同じく逆ガンマ分布であると仮定します。この時、推定されるパラメーターの事後分布は解析的に求めることができ下記のようになります。解析的に求める事ができ、下記のようになります。計算されるパラメーターです。このようにだいぶ複雑になりますが、解析的に求める事ができるため素早く簡単に計算できます。以上がベイズ推定による学習の概要となります。平均が0、標準偏差が2の正規分布からサンプリングしたデータを使用して、上記の各モデリング手法による学習結果を比較してみました。ちなみにベイズ推定は式を入力するのが面倒くさかったのと、ベイズ推定ライブラリの使用方法がよくわからなかったので結果は載せていません。赤が元の分布、青が最尤推定で学習した分布、緑がMAP推定で学習した分布です。MAP推定では、中心が0、標準偏差が2~4くらいのパラメーターが最も表れやすい事前分布を与えています。I=10I=100観測数が10の時は、学習が不完全で中心付近の大きく分布がよってしまっています。MAP推定は最尤推定とくらべ、事前分布の影響を見て取ることができます。単純な分布なこともあり観測数が100もあれば、いずれも十分に元の分布を再現できるに至っています。学習に使用したコードは下記のとおりです。いっても、上記の式に合わせてコード書いてあるだけなんですけどね。2016の20日目です。(2)〜機械読解質問応答システム〜月別アーカイブはてなブログをはじめよう!KSKSKSKS2さんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。