FukadaTweetコンバージョン向上のために重要な「A/Bテスト」。複数のパターンを同時に実施最も効果の出るのがどれかを検証するA/Bテストはすでにおなじみという人も多いでしょう。A/Bテストで効果を上げるためのコツと結果分析での注意点を紹介します。結果の判断に必要なコンバージョン数の目安ABテストとはABテストは、複数のテストパターンを同期間に同質と想定されるユーザーセグメントに対して、ランダムにいずれかのテストパターンを提示するものです。その結果から、どれがより効果的かを検証します。テストに用いる各テストパターンを慣習的に「Aパターン」「Bパターン」などと呼びます。要素を変更して結果を比較することで、変えた要素が与える影響が何かがわかります。デジタルマーケティングの場合は、「まったく同じ環境」は現実問題としてなかなか作れません。そのため「同一期間」「同じ性質をもっと想定されるユーザーセグメント」を対象とすることで、擬似的に同じ環境とみなすのが一般的です。同じ環境であれば各テストパターンの効果の違いがわかります。<A/Bテストの対象となるコンポーネントの例>ABテストを実施する対象ユーザーの注意点テストパターンを用意できたら、対象ユーザーセグメントにそれぞれをランダムに提示します。「同じ性質のユーザー」というところが重要なので、実施期間中はできるだけユーザーの性質を同質に保てるように気をつけましょう。実施中に広告経由の流入が急増したりすると、その聞は性質の異なるユーザーが入ってくることになります。いつもと違うユーザーが混ざりそうな別の施策を予定している場合は、その期聞を避けて実施するか、やむを得ない場合はその期間とちょうど重ねて行うといいでしょう。対象のユーザが少ないとABテストに向かないABテストはコンバージョン最適化において非常に重要な役割を担いますが、万能ではありません。テストの対象や状況によってはABテストに向かないケースもあります。特定ワードでのサイト内検索結果の表示数をABテストしようとしたときに、そのワードで検索する十分な数のユーザーがいなければ、信頼できる結果データが集まりまりません。テストしようとしても十分な数が集まらないでしょう。そもそも検索ワードごとのABテストも、テストの数が膨大になってしまうため非現実的な取り組みです。後述しますがABテストの結果が信頼できるかどうかは統計的にも見ていきます。そのためには一定量以上のデータが必要になるので、ユーザー数が少ないといつまでも結果が出ないということになります。時間が長くかかるものはABテストに向かないテストの個所から結果が出るまでに距離がある、もしくは時間が長くかかる場合も、ABテストには向きません。トップページのバナー画像のABテストを行う際に、結果として見ていく指標を「リピート購入回数」にすることは設定上は可能です。リピート購入回数に影響を与える要因は、トップページのバナー画像以外にもさまざま考えられます。このように、テストを実施する個所(トップページのバナー)からその影響を測定したい個所(リピート購入)までが遠いと、その間にいろいろな要因が絡み合います。なるとセグメントの同質性の確保が難しくなり、出てきた結果が信頼しにくい(再現性が低い)ものとなります。ABテストの結果分析の注意点ABテストを実施すると、テストパターンごとに結果が数値で表れます。結果の数値を読み解くときは、いい結果だったパターンを単純に「勝ちパターン」として採用してしまいがちですが、ここに落とし穴があります。ABテストの結果、テストパターンAの数値がもっとも良かったとしても、偶然そうなっているだけなのかどうかを見極めなければいけません。それを教えてくれるのが「統計」です。テスト結果の違いが「偶然ではなさそうだ」となってはじめて勝ち負けを判断できます。テストの勝ち負けは、統計的に数値が信頼できるかどうかで判断する必要があります。しては必ず理解しておきましょう。ここをいい加減にしてしまうと、仮説検証のサイクルを正しく回せなくなってしまいます。統計的に信頼できる結果か?数値の違いが偶然ではないことを、統計の言葉では「有意に差がある」と表現します。ややこしいのは「有意に差があるかどうか」が確率(パーセント)で表現される点です。ABテストツールの場合、簡易的に「結果を信頼できます』と表示されたり、あるいは信頼度が段階として表示されたりしますが、それはこの有意に差がある確率が何パーセントなのかということに基づいて表示内容を決めているのです。テストパターンAでは対象200人のユーザーに対して、コンバージョン行動を実施したのが20人だったとしましょう。同じパターンAを時期を変えて同質と思われる200人のユーザーに実施したときに、毎回きっちり20人がコンパージョンするわけではありません。19人だったり22人だったり、15人だったりするでしょう。これが150人になることはほとんどなさそうに思えます。統計が教えてくれるのは、「今回は20人だったけど、例えば80パーセントの確率だと15人~25人の幅になるよ」という「おおよその広がりの幅」です。(結果が信頼できない)となります。差が偶然でない確率を高めようとすると、求められる差が大きくなっていきます。差が小さければ偶然の度合いが高まります。結果指標として差があったとしても「たまたま」そうなっているだけということは常にあり得るので、どの程度「たまたま」起きることなのかが統計的にわかるということは知っておいてください。統計的な話だけでなく、「ユーザーの同質性」も考慮する必要があります。曜日が違えばユーザー層が変わるというのは多くのサイトで見られます。そのため、ABテストの実施期聞を2週間以上にしておくと、曜日による違いを吸収しやすくなります。経験則的な基準ですが、期間としては2週間以上、またテストパターンごとにできれば100以上のコンパージョン行動数があれば、ユーザーの同質性や統計的な信頼性を含めて結果の比較として妥当と言えるでしょう。テストを継続してください。実際にはどうしてもコンパジョンが基準の数まで至らないことがあります。その場合は結果が偶然であるという可能性を踏まえて判断するほかありません。有意差があるか?に注意するABテストを手際よく使いこなせば、仮説検証を素早く行い、より大きな成果を得ることができます。さしいコンバージョン最適化の教本」から、特に多くのサイト運営者・経営者に知ってほしい重要なポイントを、再編集しました。