AI〜データコンサル会社アイアナのブログ。統計学、Rを使ったデータ分析、Pythonを使ったAIなどこの広告は、90日以上更新していないブログに表示しています。2011-09-16webサイトのA/Bテスト、多変量テストについて思うこと今回はweb業界でよく行われているA/Bテストについて記事にします。参考にはしましたが、A/Bテストについては1ページくらいしか書いてありませんのであしからず。見る※今回はサイトのレイアウトと言う意味の「デザイン」とランダム化比較試験の「デザイン」の両方が出てきますが、混乱されないようお気を付け下さい。Optimizerで、サイトの最適デザインを調べることができます。A/BテストはデザインAまたはBのサイトをランダムに表示し、どちらのサイトデザインが「統計的に有意」であるかを検定するサービスのようです。どの組み合わせが一番優れているかを検定します。統計学的には、ランダム化比較試験と同じ原理だと思われます(多変量テストは実験計画と同等)。問題まずA/Bテスト、多変量テスト共に経時的に何度も検定を行っているため、多重比較と同じ問題が起こり、αエラーが増大するはずです。「差がないのに差があると言ってしまう」という確率が高くなります。医学分野の臨床試験ではその現象を回避するため、群逐次試験という方法が考案されています。この検定手法を使えば、逐次的に試験を行ってもαエラーが増大することはありません。言い換えれば、毎回の検定の有意水準を5%よりも厳しくしていることになります(具体的にはポコックの方法、α消費関数などの方法があります)。googleはαエラーを制御しているのでしょうか?していなければ、本当は同等のはずのサイトデザインを、間違って「こちらの方が良い」と判定してしまう確率が高くなる。Optimizerではアクセス数やコンバージョン数が残っているはずなので、場合によってはそれを自前で逐次試験に当てはめた方が良いかもしれません。群逐次試験では前もって「最終的に何例集める」ということをサンプルサイズ設計しておく必要があります。「AとBのサイトデザインは、コンバージョン率で何%の差があるはずであるので、それを検証するためには何例のデータを集めれば良い」ということを前もって設計しなくてはなりません。多変量テストの場合はサンプルサイズ設計が複雑ですが、このような形で計算します。・http://www.graphpad.com/faq/viewfaq.cfm?faq=1038・http://stat.stanford.edu/~jtaylo/courses/stats203/notes/design.pdfつまりA/Bテストでも多変量テストでも、前もって「これくらいの効果があるはず」という仮説をきちんと立て、検証試験に望むのことが大事です。多変量テストの場合はサンプルサイズ設計は複雑であり、さらに結果を比較する検定の際にも多重性の問題でαエラーが増大することがあります。そのため、なるべく比較対象を絞って2群のA/Bテストを行うことが良いかもしれません。有意な差が出なければ、「AとBどちらを使っても効果は変わらない」という解釈になります。臨床試験の分野では2000年頃からアダプティブデザイン(適応的デザイン)という手法が提案されています。これは予想されていない(思わしくない)結果が出た場合に、「柔軟に」試験の再設計を行うことができるという点で注目された方法です。適応的デザインも、群逐次試験と同じように「何度か検定することを念頭に置いてαエラーを調整している」という点で、多重性の調整方法の一種だと考えられます。群逐次試験と違うのは、試験デザイン自体を途中で変更することができる事です。この事について人によって捉え方は違いますが、医学分野の統計の先生達はこのような意見を持たれているようです。・http://www.niph.go.jp/toshokan/home/data/60-1/201160010006.pdf・http://www.rs.kagu.tus.ac.jp/yoshilab/iyaku/download/JSS2006_Isao_adaptive.pdfしかし臨床試験とweb解析では検定を行う文脈が全く違うので、適応的デザインが十分に利用できる可能性もあるかもしれません。議論をしていきたいところですね。補足そもそもですが、逐次試験を十分に行って「信頼性の高い」有意な結果がが出たからといって、その結果がそのまま将来にわたっての効果を保証しているわけではありません。サイトデザインAはサイトデザインBよりコンバージョン率が0.5%高いという結果が出て、統計的にも有意だったとします。それは「調査していた期間に」それくらいの差があったということを示しているのに過ぎません。流行り廃りが影響するようなサイトデザインの場合は、すぐ変化してしまう可能性も否定できません。そのことを意識し、検定が終わっても常にモニタリングする必要があると思います(例えば数%の訪問者には負けたサイトを出して比較するなど)。「時代の変化」も考えなければいけませんね。サンプルサイズ設計ですが、数百例集めれば統計的に十分な議論が出来ることが多いです。web業界では(サイトにもよると思いますが)1日〜数日で集まるかもしれませんので、逐次試験じゃなくて普通にランダム化試験をさらっと行えば良いかもしれませんね。臨床試験の場合はバイアスの混入を防ぐために症例が集まりきるまで結果をみる事は許されませんが、webランダム化の場合はバイアスが入りようがないですね(恣意的にサイトデザインを変えてしまったりすると問題ですが、、)。webランダム化の場合は途中で結果をみても大丈夫かもしれません。試験デザインを組んだからには、信用するのは最後の結果だけです(理想的には)。読者になる@iisssseeiiiiをフォローデータコンサル会社のiAnalysis合同会社(アイアナ)で代表をしている倉橋一成(くらはしいっせい)です。東京大学で医療統計学の博士号を取得して、2011年に東大病院に務めながらアイアナを設立しました。含む約50社の企業にコンサルティングを行ってきました。統計学やデータサイエンス、AIなどを駆使して経営戦略や事業戦略に活かすためのデータ分析を行っています。クライアントはNTTドコモ。2014年からデータ分析部門(情報戦略室)にコンサルティングを行い、当時数十名だったグループが2019年には200人近くの組織(デジタルマーケティング推進部)となって自走しています。サル以外にはベンチャーやアート活動をしています。こちらのサイトでベンチャーやアート活動などの近況をアップしています。ツイッターはコンサル以外の趣味のつぶやきメイン。移行時約180万PVはてなブログをはじめよう!isseing333さんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。