猫になりたい猫になりたいコンサルのデータ分析屋、計量経済とか機械学習をやっています。pyてょnは3.7を使ってマスコレルウィンストングリーン。最近はベイズが流行っているので自分もベイズを齧ろうと、冬休みにA/Bテストをpythonで行ってみました。使用したのはpymc3です。事前知識は、信用区間は信頼区間と違って解釈がし易いよ!、A/Bテスト(RCT)ってこんなことをやってるよ!くらいを想定しています。ちなみに個人的にはA/Bテストっていう言葉よりRCTという言葉のほうが好みです。見るキャメロン本と呼んでいる本で、コードで何をしているのかわかりやすく書いてある、訳注もわかりやすいのでおすすめです。ちなみに訳者の玉木さんがUdemyで行っているベイズ推定とグラフィカルモデルもわかりやすいのでおすすめです。見る犬の表紙が可愛い枕の様な本、犬ベイズと呼んでます。私はRをあまり使いませんが、手を動かす時に気になるポイントがまとまっていて重宝します。vol.1のpymc3解説記事とキャメロン本のweb版にあるpymc3対応コードを参照しました。A/Bテストテストデータの作成まず初めに必要なもののインポートとサンプルデータの生成を行いましょう。notebookです。samplegen_sample()関数はパラメータpのベルヌーイ分布から、size個サンプリングする関数です。ここでpは観測できない真のパラメータに相当します。group(介入群、処置群)の2群の真のパラメータ:p、の差なので対照群と介入群に相当するデータをそれぞれ生成しましょう。group)のCV率は2%上昇したとするデータを作ります。この2%という数字は実際には判らない、A/Bテストで推定したい数字になります。90000)今回観測(生成された)された対照群と介入群のCV率は0.1487と0.1592でした。推定量を得て、その差を評価することです。推定量となります(これはCV率の標本平均と一致します)。効果が施策にはあったと見做します。