今回の例で使うMCMCは数値計算によってこれを求めます。最尤推定とは尤度という言葉が指すものが見かけ上違うので注意してください。1]区間の一様分布)を採用します。CVするかどうかが以下の様に決まるモデルを考えます。$$MCMCによるパラメータ推定とその結果それではモデルを構築していきます。キャメロン本のweb版そのままです。burned_trace=trace[1000:]さて、これで事後分布からサンプリングが終了しましたのでプロットしてみましょう。alpha=0.5)plt.legend()plt.show()対照群と介入群のθの事後分布のプロット(図1)破線は真の値を示す対照群と介入群のθの差(delta)の事後分布のプロット(図2)実線は中央値、破線は99%信用区間を示す。中央値は0.0104。これで欲しいパラメータの事後分布が手に入りましたので考察をします。図2を見てみましょう。図2は対照群と介入群同士のθの差の事後分布をプロットしたものです。今回興味があるのは介入群のCV率が対照群のCV率より高いかなので、deltaが0より大きい確率を計算してみます。0.997この結果より、99.7%以上の確率で対照群と介入群のθには有意に差があり、その差deltaの中央値より施策の効果の大きさは0.01%程度(相対値ではないことに注意)だということがわかりました。図1のオレンジ色の対照群と青色の介入群の分布に殆ど重なりがないことからも、対照群と介入群のθには差があることが見て取れます。0が含まれてるかを見てください。)また対照群の分布の分散が大きいことから、追加的なサンプルが取得できるなら対照群のサンプルを増やすことで推定の精度を向上させられることがわかります。増やす、という判断が下せます。これがベイジアンのいいとこだと私は思います。点推定を求められたらさて、ここまでの結果を上司に見せたところ、あなたはこう言われるかもしれません、「分布というのはよくわからないのでA/BテストのでどれだけCV率が上がったかが判る数字を1つ持って来い」、と。この様に点推定値を求められた場合、キャメロン本では事後分布の平均値や中央値よりも下側50パーセンタイル以下の値を報告することを勧めています。保守的になるならそのほうが良いのかもしれませんが、説明を求められた時の説明のし易さや、中央値が機能しないほど変な形の分布に為ることはそんなに無いと思われることから私自身は基本的に中央値を報告すればでいいのではないかなと思います。検定力(サンプルサイズ)について注)以下の議論は文献を引いていないので、修正する可能性があります。今回は1%という小さな差を検出することに成功しましたが、果たしてこれはたまたまなのでしょうか、それとも今回のサンプルサイズなら1%の差はわけもなく検出できる差なのでしょうか。ベイジアンにサンプルサイズという考えはそぐわない気もしますが、実用上は頻度主義で言う所の検定力が気になります。そこで真の差と、対照群・介入群それぞれのサンプルサイズを固定した上で今回のシミュレーションを2000回実行し、deltaの事後分布が0より大きい確率をヒストグラムにしたのが下のプロットになります。時、施策に効果があったと)時、今回のサンプルサイズでは検出力は6割程でした。そこで真の差を2%に変更して同じシミュレーションを回すと今度は以下のように0.98以上の確率でθの差を正しく検出できました。このことから「施策には2%以上の差があると仮定」すれば今回の設定でA/Bテストを行って良いといえるでしょう。施策には2%未満の効果しか無いなら検出できなくても良いということですね。このあたりは頻度主義の効果量の考え方と同じに為ると思います。わからない所informativeな事前分布を使うことで検定力を改善できる気はしますがあまり良くわかっていません。今回の設定だと、CV率の真の分布は確率1の定数、と見做していますがこれが正しいのかよく判りません。1]の一様分布になります。この時に犬ベイズ本と同様のことを実行して意味があるのか判りません。真の分布を確立1の定数と見做すのもベイズっぽくなくて悩んでいます。終わりに今回はA/Bテストをベイジアンの観点から行いました。実際には共役事前分布*2を使えばMCMCを使わずとも早く計算を行えるのですが、今回はpymc3の練習も兼ねてMCMCを使いました。共役事前分布を使う方法は今度追記しようと思います。18:05Tweet関連記事2018-01-27最尤推定、MAP推定、ベイズ推定の違い最尤推定、MAP推定、ベイズ推定の違いについてまとめました。Storage上の音声ファイルをテキストに変換する引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。