この本は、ぼくがほぼ毎日読んでいるブログ「パレオな男」で、管理人の方がおすすめしていたので気になり読みました。2016年に読んで良かった本ベスト10アラフォー男がアンチエイジングについて考えるブログです。yuchrszk.blogspot.com統計学の本は2〜3年前に「統計学が最強の武器である」「統計学を拓いた異才たち」を読んで以来ご無沙汰だったのですが、今回久しぶりに手に取って読んでみました。統計学が最強の学問である統計学が最強の学問であるwww.amazon.co.jp統計学を拓いた異才たち(日経ビジネス人文庫)統計学を拓いた異才たち(日経ビジネス人文庫)www.amazon.co.jpこの本を読むまえに持っていた疑問は、「統計的に有意な差がある、というのはどの程度意味があるんだろうか」というものです。ふだん、Webディレクターの仕事をしており、運用フェーズにあるサイト・アプリの改善をする際に、A/Bテストで新しいUIやデザインの検証をすることがあります。一般的なA/Bテストにおける検証は、下記のようなものです。(1)現在のデザインをオリジナル、新しいデザインをテストパターンとして、サイトに来訪したユーザーをそのどちらか一方のパターンに振り分ける。(2)サイトのセッション数とコンバージョン数(ECサイトなら購入完了)をパターン別に見て、コンバージョン率(=コンバージョン数÷セッション数)を計算する(3)オリジナルパターンとテストパターンでコンバージョン率を比較し、大きいほうを新デザインとして採用するこの(3)における大小比較のジャッジに「統計的に有意な差がある」か、帰無仮説検定を用いています。「コンバージョン率の差がない(=同じ値である)」という帰無仮説を立て、帰無仮説が正しいとしたときに、それを表す検定統計量とそれが従うはずの分布を設定できる(A/Bテストの場合は「カイ二乗分布」と呼ばれる分布)ので、その検定統計量を計算します。ここで慣習的な「有意水準」に基づき「棄却域」を決め、計算した検定統計量がもし棄却域の範囲内にあれば「帰無仮説を棄却(→コンバージョン率に差がある)」、そうでないなら「帰無仮説を採択(→コンバージョン率は同じ)」と結論付けます。ここで「帰無仮説を棄却(→コンバージョン率に差がある)」という表現をしましたが、正しくはこれは間違いです。統計的検定において、誤りは2種類あると言われています。仮説が真であるにも関わらず、誤って偽としてしまうこと。コンバージョン率は同じなのに、差がある、と言ってしまうことです。この間違いを出来る限り防ぐために有意水準が存在しますが、この有意水準は先ほども書いたように慣習的に5%と設定することが多く、そうした場合、5%が第1種の誤謬の発生確率です。より、コンバージョン率に差があると結論付けたとしても、5%の確率でその判断は間違いだということになります。これは、仮説が偽であるにも関わらず、誤って真としてしまうこと。コンバージョン率に差があるのに、同じと言ってしまうことですが、この第2の誤謬を防ぐことができる確率を「検定力」と呼びます。これまで書いたように、A/Bテストの評価フレームでは、第1の誤謬は「わりと」防ぐことができるが、第2の誤謬については一切触れていません。g(ES)」の関係がある・効果量と検定力を固定すれば、必要な最小サンプル数を決められることを様々な事例を使って説明してくれています。(なので、計算式が割とたくさん出てきます。)わりと長文を書いてしまったので笑、上記の詳細、まずは最後サラッと書いた「効果量」とはなんぞや?というところから次回書いていこうと思います。ちなみに、先ほど書いた3つめの必要サンプル数の決め方、については算出方法まで記載はなく、「サンプル数の決め方」という専門書が出版されているようです。これはまだ読んでいないので、読み終わったら(読むのは時間がかかると思いますが笑)読書録を書こうと思います。