CVR(コンバージョンレート)に差があるかテストしたい。Web担当者Forum)一方で一定のクリック数がなくては判断できない(Sexyなリスティング広告プレイヤーになるために...、スライドを公開します。CVR↑これらについては後で説明する。CTR(クリック率)と読み替えてもらってもかまわない。なにかをなにかで割った「割合」なら同じように考えて問題ない。分かってるものとする。上がったらいいな、と期待している。仮説検定の枠組みを簡単に復習しておく。高いということを言えたらいいと思っている。そのことを直接証明するのは難しい。高くっても高いことは高い。そんなのは違いのうちに入らない、かもしれない。そこでちょっとひねりを加える。高かったとしても、それは偶然生じた結果だ。その偶然はどのくらいの確率で起こるだろうか。その確率を計算して推定しよう。高いって考えたほうがいいんじゃないの、ということになる。高いとしたら」という仮定のことを帰無仮説と呼ぶ。高い」っていうことを対立仮説と呼ぶ。高いって考えたほうがいいんじゃないの」というのを、帰無仮説を棄却すると言う。帰無仮説がまちがってるとしたら、対立仮説が正しいという関係。帰無仮説と対立仮説はミーシーになってるわけだ。ややこしいのでゆっくり読んで欲しい。次のステップに移ろう。仮説検定は確率の推定なので、まちがった判断をしてしまうこともある。判断しちゃうこともある(第二種の過誤と呼ぶ)。この二種類の過誤を表にまとめると下記のようになる。第一種は「あわてもの」。「あわてもの」だからあせって帰無仮説を棄却しちゃう。「あわてもの」だから一等賞だから第一種。その確率は「あわてもの」の「あ」をとってαで表すことが多い。第二種は「ぼんやりもの」。「ぼんやりもの」だからぼんやりして帰無仮説を棄却しないで見逃しちゃう。「ぼんやりもの」だから二番手だから第二種。その確率は「ぼんやりもの」の「ぼ」をとってβで表すことが多い。こじつけるとおぼえやすい。過誤の確率は小さいほうがいい。あちら立てればこちらは立たず、両方同時に小さくすることはできない。一定以下になるようにする。最初に述べた「検出力(1-β)」というのは、帰無仮説が本当はまちがってるときに、検定でちゃんと帰無仮説を棄却できるパワーと解釈できる。ややこしいだろうから、ゆっくり読んで欲しい。これでようやく、必要なサンプルサイズが求められる。用意するものは下記の通りだった。