【保存版】スタートアップがユーザビリティテストを3日ですべて終わらす方法2019-07-23【保存版】スタートアップがユーザビリティテストを3日ですべて終わらす方法こんにちは、分析チームの坂本です。テックブログ3回めの登場です。ミラティブの分析チームは、もちろんBigQueryや機械学習を用いた定量的なデータ分析も行いますが、ユーザーを理解するための定性分析も行う「分析チーム」であることを掲げています。※最近では、データアナリストとUXリサーチャーの境界が溶けつつあるという議論があると思いますが、弊社もその流れを採用しています。いう認識の方もいらっしゃると思います。ミラティブでは、ユーザビリティテストをやろう!と言ってから3日間&謝礼実費のみでユーザビリティテストが完了しました(被験者3名)。どんなことをやったのかという内容を書きながら、ハマりどころををシェアしようと思います。ユーザビリティテストの一般論まずは、ユーザビリティテストってなんやねんという話を書いて行きます。いいつつ、ここは巨人の肩に立たせていただきます(笑)。ユーザビリティテストとはなんなのか?だったり、なんの目的で実施するのかなどは、グッドパッチさんの下記のブログが詳しいので、ぜひ読んでみてください。goodpatch.comミラティブでは、ユーザビリティテストを実施する前に、ミラティブで言うとどういうことなの?的な記事をコンフルにしたためました。社内に投稿したユーザビリティテストの記事ミラティブでユーザビリティテストが必要だった背景ユーザビリティテストってどれくらいの頻度で実施したら良いのか?という質問がよくあります。理想的には週一くらいのスパンで定期的にやるのが良いと思います。スタートアップにはそんな時間も余裕もないわけです。大きなリニューアルのプロトができたときに、プロトタイプで実施です。反対に、小さな変更であれば、ABテストやデータ分析で検証することが望ましいと考えています。大きな変更は、画面の構造や印象が大きく変わると同時に、コードの変更も大きく入ります。小さく失敗するためにユーザビリティテストを行うのがおすすめです。大きくリリースして、「やっぱり仮説が間違っていた」となると、相当のコードが無駄になります。直近1年間で様々な機能追加をしてきました。エモモ・ガチャ・ギフト・コイン・オーブ・ジェスチャーなどなど、は直近1年間で追加された機能です。それらがスモールテストとともに導入されたこともあり、UI/UX上わかりづらいところが散見されるようになってきました。UI/UX上わかりづらいメニューの例たとえば、上記であればヘッダメニューの中に配信一覧のフィルタを変更する、タブ切り替え自身のエモモ(アバター)を切り替えるという機能が混在しています。現在ミラティブでは、このような使いづらい箇所を大きく手直しするプロジェクトが始まっています。そのインプットの一環として、ユーザビリティテストを行ったというのが背景です。事前準備のTipsここからがこのブログの本編パートになります。いいやり方あるよーってあれば、ぜひTwitterやはてブなどでコメントいただけると嬉しいです。中継用のカメラはMacのカメラで十分まず、ユーザビリティテストでほぼ必須なのが中継用のカメラです。被験者の手元を写しながら、その映像を別室に中継するためです。PCサービスの場合は、テレビ会議システムの画面共有機能で十分だと思います。モバイルアプリなので、被験者の手の動きを撮影することが必須です。そのため、何かしらの撮影機材が必要でした。Macのカメラでユーザビリティテストを行ういろいろと試した結果、上記のようにMacを後ろから抱きかかえるようなスタイルで撮影したところ、うまく撮ることができました。その映像をテレビに映したものを写真に撮ったものが下記です。経由しているので、下記の写真の解像度はそんなに高くないのですが、テストを行うのに必要十分な画質でした。Macで動画撮影した映像をテレビに映す様子カメラのセッティング時に注意することカメラが安価で済んだぞ!と意気揚々としていたのですが、実際のテストを行ったときにちょっとしたトラブルがありました。それは、「部屋の調光によっては、蛍光灯の光が画面に反射してしまう」ということです。蛍光灯が反射してしまう我々は最近、自然光あふれる目黒のオフィスに引っ越しを行いましたが、ユーザビリティテストを行ったのは渋谷の旧オフィスの窓がない会議室でした。そのため、蛍光灯の明かりがばっちりスマートフォンに映ってしまいました。我々は一度、被験者さんに承諾をとった上で、(電気を消して)真っ暗な部屋で実施していただきました。今後の学びとして、蛍光灯にカバーがついている部屋でテストを実施する・自然光が入ってくる部屋で実施するなどの工夫が必要だと感じました。配信はGoogleHangoutがよかったでは、次はその映像を中継する方法です。Macのカメラで撮影しているので、ビデオ会議システムに通すと楽ですね。そこで下記の条件を満たすビデオ会議システムを探しました。Meet)を選択しました。Meetで録画することは諦めました。Meetで共有した映像をQuickTimeで画面録画するという手法を行ってみましたが、1ファイルが20GBくらいになり、あとあと管理に困りました。これは要改善ポイントです。被験者の集め方では、被験者はどうやって集めるのが早いでしょうか?民間のリサーチ会社さんにお願いすると、やはり(やり取りも含めて)1週間程度かかります。そこで、ミラティブでは社員の友人の方に協力いただくことにしました。そこで、「募集をするなら黄色に黒!」という定番をリスペクトさせていただき、募集画像をつくり社内のSlackに投下しました。するとその日中に目的にあった被験者の方を3名集めることが出来ました。ユーザビリティテストの被験者を社内募集ミラティブ社では、ユーザビリティテストを行うのがはじめて(少なくとも会社独立後ははじめて)だったので、ユーザビリティテストの意義や成果をメンバーが熟知している状態ではありませんでした。そのため、なるべくみなさまに協力いただけるように、目立つ方法で集客しました。アイスブレイクの工夫さて、ここからは当日の話を書いていきます。ユーザビリティテストは、被験者の方にプロダクトを操作していただくテストです。被験者の方は「自分がテストされている」気持ちになってしまうことがある、と事前に知っていたため、下記のようなスライドを用意し、ご自身のテストではないということをかなり強調しました。関係ある内容でアイスブレイク出来たのはよかったです。※例えば、ウイルス対策ソフトなどのユーザビリティテストでは「ウイルス対策って普段されますか?」ってのは本題に近すぎて、アイスブレイクには使いづらい質問だと思います。いうときは、「オフィスまで迷わずに来れました?」みたいなアイスブレイクが一般的なようです。当日あたふたしたこと当日のトラブルというか、あわわわってなったことをいくつか紹介します。こともありますが、「個々のアプリで考えることがある」という意味で共有しておきます。配信をして頂く際、やめ時が難しいユーザビリティテストスライド:シナリオ#33つ目のタスクとして、上記のようなタスクを行ってもらいました。具体的に言うと、普段プレイしているゲームを配信してもらうというタスクです。これはインタビュワーが「では終了してください」と声を掛けるタイミングが難しかったです。そもそもの1試合が長かったり。様々な理由で、ゲームのやめ時が読めません。パズドラやバンドリ!などは比較的短いほうかなと思いますが、マルチ対戦TPSゲームや麻雀ゲームは1試合が30分程度かかってしまうので切り時が難しいなと思います。いうことで、次回はゲームをプレイされる前に、「今回はテストなので、10分程度で一区切りできるゲームを選択いただけませんか?」とアナウンスするのがよいかなと思いました。想定外の箇所で詰みが発生する事前の想定外のところで詰みが発生することがあり、インタビュワーが被験者さんにお声がけすることがありました。その一例を紹介します。コメントや情報(「視聴者が来ました」や「ギフトをもらいました」)はPUSH通知を通じて配信者に知らされます。コメントなどを知るということは、PUSH通知を切っていると、視聴者さんが来たとか、視聴者さんがコメントしたことがゲーム中に全くわからないわけです。そのことにはじめて気づきました。2人めの被験者以降は、配信を始める前にPUSH通知をONにしていただく設定をしていただくことにしました。上記はユーザビリティテスト当日のエンジニアルームです。エンジニアルームにある大きなテレビに大きくテスト中の内容を映し、エンジニア・デザイナー・PM全員で注目して見ていました。自分たちが作成したプロダクトなので、注目度は高かったです。このように、エンジニアチームを巻き込んでテストを行うのが大切ですね。得られた成果3名で実施したユーザビリティテストの結果を資料にまとめました。一部公開しておきます。得られた成果スライド上のような資料にまとめるのも重要ですが、それ以上にエンジニアチーム全員がテストの内容を見ていたことのほうが成果としては大きかったかなと思います。百聞は一見に如かずですね。さいごにミラティブでは分析チームを募集しています。www.wantedly.com業務内容が多岐にわたるので、定性分析やったことないわー、とかだったり、定量分析やったことないわーという方も全然OKです!気軽にポチッとエントリーください。現在、ミラティブでは事業...2019-12-12ミラティブにてクラロワAPIを利用したイベントをやってみたこんにちわ。