自称上級忍者のジョーです。これからグロースハック*1に用いるA/Bテストについて考えてみたいと思います。(なぜグロースハックA/Bテストなのか...グロースハックの中で、インバウンドマーケティングの1つとして連携して行うA/Bテストを行うことをさします)今回はまずA/Bテストについてと、私や仲間たちが様々な改善案件をおこなっていく中で陥った落とし穴について話したいと思います。ニンニンA/Bテストとはある特定の期間にページの一部分を2パターン用意して訪問ユーザーを半分づつに振り分け、どちらがより効果の高い成果を出せるのかを検証する方法です。億円の資金を集めた例が有名です。※もちろん2パターンだけではなく、3、4、5パターンとテストすることもあります。落とし穴ウェブや参考書などで比較的有名になったA/Bテストの手法ですが、テストのやり方を間違うと誤った解答しか得られないという事実を皆さんは知っているでしょうか。一般的に言われる正しいテストのやり方もスタートであって、それに頼れば上手くいくものではありません。実際に何百戦とA/Bテスト改善を行ってきた経験から、よく失敗しやすい落とし穴について話したいと思います。・部分改善は俯瞰でみる・ファーストビュー志向に惑わされるな・改善効果は持続時間も指標にする・勝負はテスト1回目で決まる部分改善は俯瞰でみるページ内のボタンやコンテンツに対して行う部分改善のA/Bテストはまず通るテストだと思います。そこだけのポイントに絞ったテストには実は大きな落とし穴が潜んでいます。部分的にはCV(コンバージョン)が上がっても全体のCVは下がったというようなことが起こるからです。ui設計やビジュアルヒエラルキーの崩壊にも繋がりやすいところです。これは部分的なテストといえページ全体にも、さらにはWebページなどのプロダクト全体にも依存関係があることが要因です。情報設計ファーストビュー志向に惑わされるなSPやアプリなどで「ファーストビューにボタンを入れろ」、「ファーストビューに収めるよう」にみたいによくファーストビュー信者がいますよね。ある大手のキャンペーンLPの改善を行なっていたときに、ファーストビューにボタンを納めない案の方が、収める案よりもCVが20%も高くなることがありました。原因はユーザーがキャンペーンのお得さを把握できないのにボタンが定型みたいにタイトルの直下に設置してあったことでした。アイキャッチのようなものでもいいので内容やお得さが把握できた後にボタンが配置してあった方が押されるのです。SPユーザーは文章が多少長くても「理解してボタンを押す」ということが分かった事例でもあります。改善効果は持続時間も指標にする効果があった、なかっただけで判断してどんどん改善を進めていくと、ある時期から効果が下がったり、なくなるケースがあります。これはバナー広告のビジュアルテストだと分かりやすいかもしれません。ビジュアルや動画広告などでは流行りや旬など、人々の興味は変化していて、当たると大きくハネる時があります。結果が大きく影響します。このような時期によって影響される改善を私は限定改善と言っていて、情報設計や動線整理など定常的な改善と分けて考えています。uiでもただ目立つ、他と変わっているといった場合は、数値が上がってもユーザーが見飽きると終わりです。テストを行う際にここが混ざってしまうと正確な判断ができないので注意が必要です。テストパターン勝負はテスト1回目で決まる「とりあえずテストをしてみよう」という思想はもっとも危険です。A/Bテストはユーザーの無意識を測るテストとして捉えてください。そもそも私たちはwebサイトやアプリはいくつも横断しながら使っていて、便利な「ツール」として認識しています。それならば、最高のUIとはユーザーは使い方を考えることなく必要な情報得られ、やりたいことが素早く実行できるものです。最適な答えというのは制作側が探すもので、A/Bテストでは、ユーザーは用意されてものを使ってもらって答え合わせをしてくれるまでです。→ユーザーは意識して使っていないので仮説がなければ、結果を解釈できないそのためにはテストパターンを製作する際に問題点の発見と解決するソリューションの仮説出しがA/Bテストのもっとも重要な作業です。※ここはほぼ伏せられている情報ですが、「他サービスの調査、サンプル集め」がそれらを生み出すソースになります。ユーザーの使いやすさの根底にある基準は「既視感」からきています。共有認識を上手く使い、ビジュアルコントロールの技術を使えば、ある程度答えは決まってきます。その仮説の精度をできる限り高めてテストに望むことがユーザーに最高の答え合わせをしてもらえるわけです。テストパターン終わりに実はA/Bテストの最大の課題は本番反映までのスピード感だと考えています。課題を解決していく手法です。関する基本方針プライバシーポリシ。