エンジニア日記こんにちは。私は4月までユーザーファースト推進室にて、ユーザー体験の数値化や、その下地作りに取り組んでいました。模索段階ではありますが、本エントリにてこの試みの現状をご紹介します。点だけでなく線も検証するリーンスタートアップのBMLループに代表されるように、サービス開発において、検証のフェーズは非常に重要です。クックパッドでも、開発と検証はセットで考えられており、施策の良し悪しを指標から判断することは日常的に行われています。同時に、施策単体の検証だけでなく、施策を実施した結果、サービスを通してユーザーが得る体験がどうなったかを検証することも重要です。達成度合いも検証する必要があると言えます。このような、サービスを通してユーザーが得た体験を、数値化し検証することは難しいものです。クックパッドではこれまで、ご意見ボックスを設置するなどして、定性的なデータを元に判断してきました。モバイルアプリを提供する機会が増えるにつれ、サービスを機能として捉えるのではなく体験として捉え、エンジニアもデザイナーも数値を武器にしつつ、機能やUIをデザインし開発をしていくことが、これまで以上に重要になってきました。ユーザー体験をストーリーとして定義するユーザー体験を検証するにあたって、まずはサービス開発者が、どのような体験をユーザーに提供したいのかを定義する必要があります。これをユーザーストーリーと呼びます。クックパッドでは、新しくサービスを企画する際に、アプリケーション定義ステートメントシートと呼ばれる企画フレームワークをよく使います。このシートのなかに、ユーザーストーリーも項目として含まれています。これにより、サービスを企画する際には、ストーリーについて考える機会が生まれます。アプリケーション定義ステートメントシートの詳細については、こちらのエントリで触れられていますので、ぜひご覧ください。ここでは、以前私が企画・開発を担当していた、iOS版みんなのカフェのユーザーストーリーをご紹介します。みんなのカフェは、食や暮らしの話題を中心とした掲示板です。その中で、「のんびり時間をつぶしたいユーザー」のストーリーとして以下を定義しました。家事の合間にほっと一息。面白そうなスレッドを読んで時間を潰そうと思う特に目的は持たずに、スレッド一覧から気になる話題を探してみる気になったスレッドの内容、レスを見るわかる!確かに!と共感するまだ時間があるので他のスレッドも探してみるユーザーストーリーの達成状況を測るここからは先ほど定義したユーザーストーリーの達成状況をもって、ユーザー体験の検証を行っていきます。ユーザーの行動を測るためのツールクックパッドでは、ユーザー行動を計測し分析するためのツールとして、Mixpanelを新規アプリを中心に導入し始めています。GA)が一般的ですが、GAは多くのユーザーの行動を俯瞰的に捉えることを得意とする一方で、ある特定のユーザーがどんな行動を取っているのかを捉えることは不得意です。Mixpanelは、このGAのデメリットを補完する役割として併用しています。Mixpanelの利点として、イベントトラッキングをファネル分析やリテンション分析と連携することが容易な点が挙げられます。ここからはMixpanelについての言及が多くなりますが、Localyticsなど他のツールも同等の機能を備えており、Mixpanelに限った内容ではありません。Mixpanelでファネル分析ユーザーストーリーは、ユーザーがサービス内で行う複数の行動から構成されるものです。発生を、Mixpanelでトラッキングしていきます。先ほどのユーザーストーリーであれば、以下のようにストーリーをアプリ内の行動に近似します。家事の合間にほっと一息。Topic)そして、これら一つ一つの行動をファネルと捉え、その達成状況をファネル分析することで、ユーザーストーリーの達成状況が計測できます。このストーリーをファネル化したものが以下です。42.0%という数字が、このストーリーの達成状況となります。最重要指標を決めるMixpanelのようなツールを導入すると、ついついあらゆるボタンのクリック数を測りたくなってしまいます。クックパッドでは、GAとの使い分けとして、Mixpanelはユーザーストーリーの達成状況を計測することに限って使うことにしています。1つのサービスには、複数の登場人物が存在することが多々あります。みんなのカフェで言えば、暇つぶしに色々なスレッドを閲覧したいユーザーのほか、食に関する疑問があり質問を投稿しようと思っているユーザーなど、モチベーションの異なる複数のユーザーがアプリ内に混在します。そのユーザーそれぞれに利用ストーリーが考えられます。全ての登場人物のストーリーを追うのは難しく、それを目指すと数値に溺れるような感覚になりがちです。そのため、サービスが成長する上で、現段階で最重要となるストーリーに絞って、達成状況を測ることが重要になります。みんなのカフェであれば、新規に立ち上げたコミュニティであるため、まずはスレッドを投稿してもらうことが最重要だと考えていました。そのため、まずはPVや回遊率ではなく、スレッドの投稿数を重要指標としていました。したがって、先程の例で言えば、「食に関する疑問があり、質問を投稿しようと思っているユーザー」に関するストーリーの達成状況を最重要視していました。Matters)と呼ばれています。同様の考え方がMixpanelの設計思想にも現れており、Mixpanelのヘルプページでも重要指標のみに集中せよとあります。そのため、このような考え方のもとで使うツールとして相性が良いと考えています。以上のような考え方に沿って、実際に数値ドリブンでユーザー体験の改善を行った、iOS版みんなのカフェの事例をご紹介します。先にも述べましたが、iOS版みんなのカフェでは、コミュニティというサービス特性上、アプリ起動からスレッド投稿にいたるまでのユーザーストーリーの達成状況を、最重要視していました。実際にスレッド投稿を行うためには、大きく分けてユーザーに以下のような行動をとってもらう必要があります。スレッド投稿ボタンを押すカテゴリーを選択するスレッド内容を入力するスレッドを投稿するここでMixpanel上で、投稿ボタンを押してから投稿が完了するまでのファネルを作ってみると、以下のようになります。ここで気になるのは、最初のステップです。投稿ボタンを押してから、カテゴリーの選択を完了したユーザは、全体の58%しかおらず、約42%のユーザーがここで離脱してしまっています。カテゴリーを選択するだけのシンプルな画面にもかかわらず、離脱率が高いことから、改善の余地がありそうです。そこで、改善するための仮説として以下を考えました。投稿する気持ちが高まっているユーザーに対しては、カテゴリー選択画面よりも入力画面を最初に出したほうが、ユーザーの期待に沿っているのではないか文章を入力する前から、これから入力する文章のカテゴリーを選ぶのはそもそも難しいのではないかこの仮説のもと、カテゴリー選択画面と、スレッド内容入力画面を入れ替えてみることにしました。これにより、以下のようなフローになりました。ファネル分析をおこなった結果が以下です。念のため検定にかけてみると、有意な差がみられました。ここでご紹介した事例は、かなりシンプルなものですが、Mixpanelでファネル分析を行いつつ、ユーザーストーリーの達成状況を改善していく雰囲気を感じていただければと思います。今回のような分析は、あえて専門のツールを使うまでも無いかもしれません。ツールを使ったからといって、これまで分からなかった何かが分かるわけではありませんし、仮説を立てるところこそ、サービス開発者の頭の使い所です。Mixpanelのようなツールを使うことで、分析が手軽にわかりやすく可視化され、仮説を立てやすくなり、その結果サービス開発のスピードがあがることに価値があると思っています。まとめ本エントリでは、ユーザー体験をストーリーとして定義し、その達成状況を計測し改善するための試みについてご紹介しました。実際には本エントリのようなアプローチだけで、ユーザー体験の検証が十分かと言えばそうではなく、インタビューやユーザーテスト、開発者自身によるドッグフーディングなど、他の手法と組み合わせることが重要だと考えています。UXというとデザイナーの仕事のように思われがちですが、UXはデザインだけでなく、エンジニアリングも含めて成り立つものです。ディレクターが一丸となってユーザー体験の向上に取り組むことができるのではないかと思っています。こんにちは、買物事業部のデザイナー兼エンジニアの長...2019-06-17レシピ検索を支えるレガシーでクリティカルな大規模バッチを刷新した話こんにちは、会員事業部の新井です。...2018-11-301週間で仮説検証を繰り返す、サービス開発のための取り組みこんにちは。エンジニアの角田と申します。投稿開発...2017-04-10利用者数の増加に伴う、ユーザー行動の変化と対応についてこんにちは。サービス開発部ディレクターの新里です。使ったセキュリティログ検索基盤の構築サービス特性にあった検索システムの設計戦略クックパッド採用説明会「クックパッドはサービスの作り手を採用したいんです。/*}*/スターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。