WedアナリストブログCROウェブサイト改善分析プロセス小川卓こんにちは。Officer)小川卓です。ご好評いただいた【ウェブサイトの分析プロセスシリーズ】も5回目の今回が一旦最後となります。※今後も別のシリーズを展開予定ですので、ご期待ください!前回の記事(小川卓が解説!ウェブサイトの分析プロセス4:ABテストを上手く活用するための2つのポイント)では、実際に出た改善案を、具体的にどのようなタイミングで使うべきなのか?そして仮説検証をするべきなのか?そのためにABテストをうまく活用するためのポイントとは?についてをお話させていただきました。今回の記事では、実際に施策を実行した後に、正しくその成果を評価するための方法についてご説明させていただきます。成果指標の2つを見る必要があるのか?施策の良し悪しはどのように判断すればよいのか?最後にウェブサイトの分析プロセス5:施策を正しく評価するための方法ウェブサイトを分析して改善案を出して、その施策を実行する。その結果をどのように評価するのが良いでしょうか?ABテストの場合、テスト件数は何件くらい必要なのか?期間はどれくらいで見るべきなのか?有意差はあるのか?などいろいろな質問や疑問が出てきます。今回の内容は、それらに対しての考え方を紹介していきます。皆様もテストを実施する上で、より精度が高い評価が行えるようになりましょう。施策を実行する際に、評価は必ず2つの指標を使って行います。それが「直接指標」と「成果指標」です。指標とは、「施策によって直接影響を与える数値」になります。お問い合わせボタンへのリンクの文言を変えた場合、まず期待しているのはボタンのクリック率が改善する事です。例:どちらのキャッチコピーの方がクリックされやすいか?またランディングページで表示するコンテンツの順番を入れ替えたり、文章を見直したりする場合はスクロール率に影響を与えることが考えられます。このように施策を実行した時に、直接影響を与える指標をまずは1つ(以上)決めましょう。代表例は以下のような指標です。成果指標は、名前の通り行った施策がサイトの最終ゴール(お問い合わせ・購入など)に与えた影響になります。そのため見るべき指標は該当施策に触れた訪問のコンバージョン数とコンバージョン率になります。施策でどのコンバージョンを増やそうとしているのかを決めましょう。成果指標は、名前の通り行った施策がサイトの最終ゴール(お問い合わせ・購入など)に与えた影響になります。そのため見るべき指標は該当施策に触れた訪問のコンバージョン数とコンバージョン率になります。施策でどのコンバージョンを増やそうとしているのかを決めましょう。指標と成果指標は事前に数値を確認しておきましょう。その数値をどれくらい増やすのかをイメージする事が大切です。詳細ページからカートへの遷移率が現在5%、そして詳細ページ経由のコンバージョン率は2.5%で120件だとしましょう。これが現状の直接指標と間接指標の値です。施策によってカート遷移率が7%まで上げることを目標としたとしましょう。120件⇒168件となります。成果指標の2つを見る必要があるのか?2つの指標を必ず見るのは理由があります。その理由とは、施策の効果計測を適切に行うためです。上記で最後に紹介した、どれくらい数値が改善するかの例では「その後の遷移率が変わらなければ」という前提が入っていました。この前提が違う可能性があるのです。詳細からカートへの遷移率が上がっても、その先のカートから決済への遷移率が下がってしまう可能性があるという事です。このようなケースの場合、直接指標だけを見ていた場合、数値が改善したように見えますが、成果指標が上がっていないという事になります。そのために両方の数値を見る必要があるわけです。この2つの指標がどのように変わったかを見ることによって、より適切な評価が行えるようになります。以下のマトリックス表をご覧ください。行ったテストは必ずこの3×3の組み合わせのいずれかになります。大切なのは、それぞれの結果が出たときに、どのような判断を行うのかを「事前」に決めておくことです。私のほうで一例を用意してみました。こちらを参考に社内で事前にルールを決めておくことをオススメします。施策の良し悪しはどのように判断すればよいのか?上記の例では「改善」「改悪」と書きましたが、何をもって良いか悪いかを判断すればよいのか?という疑問があるかもしれません。遷移率が34%から58%に上がっていれば改善と言えそうですが、34%から36%の場合は改善と言えるのでしょうか?施策の効果があったのか無かったのかを判断するためには、いくつかルールや基準が必要となります。それらを確認していきましょう。件数が多いほうが精度は高そう、少ないほうが精度は低そうというイメージがあるかと思いますが、その通りです。件数が多いほうが良いのですが、サイトの規模やテスト期間などに依存します。多くの企業は、テスト期間はなるべく短く、精度が高くと考えられるのではないでしょうか。そこで難しい話は抜きにして、筆者がオススメしているのは以下3つのルールです。テスト期間は最低1週間、出来れば2週間。テスト期間は最低1週間、出来れば2週間。1か月以上は行わない1週間以上としているのは、平日と週末で動きが変わる可能性があるためです。十分なデータ量が数日で得られたとしても1週間は見るようにしましょう。1か月以上となってくると季節要因や他の施策の要因が混ざってくる可能性が高いため、あまり長い期間は推奨していません。※ただし、評価するための期間として問題ないと判断出来る場合は、1ヶ月以上行う場合もあります。上記に関連して、大型連休などは通常と違う動きをする可能性が高いので、テストの実施有無も含め、何を検証したいのか事前にしっかり決めた上で、そのような期間でも評価をするのに問題がない施策なのかを判断しましょう。テストの必要な件数は「成果指標」で100件以上がベストだが、難しい場合は「直接指標」100件以上で判断をするABテストの場合はテストパターンごとに100件、通常の施策であれば実施後100件貯まるまでという形になります。サイト規模やコンバージョンの種類によっては、成果指標100件を得るためにかかる時間が数か月以上になってしまうケースもあります。その場合は「直接指標」100件で見てみましょう。その際には、成果指標に少なくともマイナスの影響がないかの確認は行っておきましょう。指標が1か月で100件未満になるようなページに関しては本来はテストを行うべきではないという風に考えています。その前に集客を優先したほうが良いでしょう。3)有意差に関しては信頼度「80%」以上で見るそれぞれのパターンで、あるいは、施策の実施前後でどちらが勝ったかを判断するという事になりますが、100%絶対にどちらかが勝つという事は基本的にはありません。検証期間中は勝っていてもその後、負けてしまう可能性もあるわけです。施策の評価をする上で検証するのは勝つ「確率」になります。それを見るために、信頼度を見ていきます。Optimize等をはじめとする主要のABテストツールであれば、これらの数値を確認することが出来ます。ABテストツールを導入していない、あるいは実施前後での期間比較の場合は、信頼度を計算できるサービスやツールを利用すると良いでしょう。なるので、筆者は90%で見ることが多いです(どちらも勝つ確率が一緒の場合は50%になります)。90%以上が望ましいのですが、80%前後でも直接指標と掛け合わせて良い傾向であれば勝ちの判断をすることもあります。最後に施策の評価方法について紹介をしてきました。この2つの考え方を取り入れて施策の評価を行ってみましょう。人によって評価方法が違ってしまえば、共通の判断基準を持つことが出来ず、もめごとの種となってしまいます。リピート別」での評価をオススメします。改善という結果が出なくても、新たな知見を得られる可能性があります(例:全体では変わらないけど、新規には効果があり、リピーターには効果が無かったなど)。Officer)Webアナリストとしてマイクロソフト・ウェブマネー・リクルート・サイバーエージェント・アマゾンジャパンなどで勤務。ゴール&KPI設計、施策の実施と評価、PDCAをまわすための取り組みなどを担当。全国各地で講演を毎年40回以上行っている。分析・改善のすべてがわかる本』など。TRUTHでは様々な業界の企業さまのWeb事業を成長させるお手伝いをさせていただいております。Webサイト改善についてご興味がございましたら、ぜひお気軽にお問い合わせください。Wedアナリストブログ<小川卓が解説!>まずは実践!CRM第4回:ユーザーを分類して計測できる状態にするサービスのご相談、資料請求、お問い合わせをお待ちしております。