BLOGSpeee開発陣による技術情報発信ブログです。メディア開発・運用、スマートフォンアプリ開発、Webマーケティング、アドテクなどで培った技術ノウハウを発信していきます!2016-11-17【第4回】高速A/Bテストドリブンな改善フロー(ディレクター編)Tweetこんにちは、ディレクターのcultivaです!最初にこの記事は連載です。下記のような考え方で進めたことをお伝えしました。速度!速度!速度!3打数1安打ではなく、300打数30安打1つずつ検証するようにした仮説と考察を施策毎にきちんと書くようにしたこの記事では上記を受けてディレクター側が、この取り組みをチームで回していくためにどんな運用や工夫を行ったのかについて話したいと思います。1、チームの方向性をすりあわせる高速A/Bテストドリブンな改善フローを回す中で試したい施策or試すことができる施策は無限にあります。実際には、全体視点では微妙にズレていて、非効率になってしまったところがありました。そこで、今回の新しい取り組みの中で素早く、効率よく、検証を進めて改善フローを回していくためには、チームの方向性を高い精度で一致させていく必要がありました。そこで、サービスをどんな方向性に持って行きたいのか直近ではどのページのどの指標を改善したいのかどんな順番で改善を進めていきたいのかをチームに対して示して、その方向性に向かって、チーム運営を行いました。大枠としては、下記のような内容です。そのために、直近でサービス側で達成するべき目標を示す。そのKPIを達成するためには...→ページAの指標αという指標を△△△から◎◎◎まで改善する必要がある2、改善注力ポイントに対して施策を出す『300打数30安打』のような大量、かつ、ある程度精度があり、しかもサイトの本質的な価値の向上に結びつくテストを行うためにはアイデアの総数を確保するアイデアを検証していく優先順を決める実装順をわかりやすくするを行っていく必要があります。そのために、私達のチームではまず、アイデアの総数を確保するために、チームメンバーであれば誰でも書き込み可能なスプレッドシートを準備し、そこにアイデアを書き込んでもらうようにしました。『どの順番で検証するか』を判断します。最終的には『とにかくリストの上にある施策内容から実装して試す』という運用にしました。■施策リスト3、1つずつ検証する検証するとなると、一度に多くの内容を検証したくなりますが、それだと、『結局、何がよかったのか』がわかりづらくなってしまいます。検証回数が増え、それらの管理や共有のコストが高くなります。そこで下記のような施策が必要になります。何が改善に結びついて、何が改善に結びつかなかったのかを整理する検証している内容に関する数字がわかりやすいところに表示されている私達のチームでは、splitを使った管理画面をエンジニアに開発してもらい、その数字を見ながら検定を行って検証を行いました。チームメンバーの各人から考察を集めるというサイクルをチームで回していく必要があります。施策結果の共有や議論を行いました。■Slack上での様子(#専用チャンネルにて)Slackのチャンネルは速報性と対話性に優れているので、とにかくいち早く結果を伝えつつ、そのままチームで考察したり、次の施策を考える上ではよい場だったと思います。週次MTGではいくつかの施策を横断的に振り返りつつ、じっくり考察を深めていくための場として活用しました。別の角度から施策を振り返ることができたと思います。チームに起きた変化について。