blogcitrus+というバンドをやってます。平日昼間はインターネットの会社@紀尾井町でエンジニアやってます。この広告は、90日以上更新していないブログに表示しています。2016-05-29ユーザーテストの見学会に参加して知った、テストの一連の流れ・コツをまとめました先日、友人に誘われてこのイベントに行ってきました。Peatixイベントの趣旨はこういったものになります。見学会』は、仕事帰りに・手軽に・気軽にユーザーテストを体験できる機会を提供して、製品/サービス開発の現場にもっとテストを普及させることを目的にしています。そのため、専用の施設と特殊な機材を使った立派なテストではなく、普通のオフィス環境と身近にある機材を活用したDIY方式のテストをお見せしています。どのようにして、普通の会議室をUXラボに仕立て上げ、身近な機材を使ってユーザーテストを実施しているのか?---2周年記念の今回は、普段の見学会の会場では目にすることがない、「控室」や「テスト室」で行われている『舞台裏』の活動を実際にお見せしようと思います。要するに、実際に存在するアプリのユーザーテストを第三者視点で見学してみようという会です。場所はmixi社でした。ユーザーテスト自体に凄く興味がある!というわけではないのですが、人にインタビューするとき(「こういうサービス考えてるんだけどどう思う?」みたいなやつ)のテンションやら質問内容がいつも定まらないので、何かしら參考になるかなーと思い参加してみました。ユーザーテストの一連の流れを第三者視点で見学できる機会はなかなかないですし、気づきも多かったので、その内容をブログに残しておきます。(有料イベントですが、主催者の方からOKはいただいています)恐らくユーザーテストにも色々なやり方があると思うので、他のやり方も調べてみたほうが良いとは思いますが、実際にやったことがないと気付けないようなノウハウ(机にガムテでスマホ操作位置をマーキングしたほうが良い・画面ロックは解除したほうがいい等々)も結構あったので、これからユーザーテストをされる方の參考になればと思います。ちなみに今回の話に出てくる"ユーザーテスト"はコンセプト検証のためのテストではなく、UI/UXの検証のためのテストです最初の30分くらいはこのイベント立ち上げの経緯等や、これまでのイベント内容のご紹介をされていましたが、そのへんはメモってなかったので、実際にユーザーテストの流れについての部分のみ書きます。控室・テスト室(被験者にアプリを触ってもらう部屋)・観察室(被験者の様子を観察する部屋)の3つが必要なようですが、今回はデモ用に仕切りを設けず以下のようなレイアウトで行っていました。(超ざっくりですが)ユーザーテストのためには主に以下の準備が必要です。手元を写すWEBカメラ&スタンドを用意する別室でやるので、観察室とテスト室でSkypeをつないだりしている。部屋が近ければSkype等を使わず有線でOK観察室側のPCは基本マイクとカメラをオフにしておく。(観察者のリアクションが被験者に伝わると、自然な動きがだしづらくなる。このアプリでハーフパンツを探してください」というようなもの。口頭で被験者に伝えてもテスト中に忘れてしまうので、紙に印刷しておく。今回のテスト室はこんな感じになっていました。(写真もっ撮っとけばよかった...)Skypeを活用するのは面白いなーと思いました。部屋が離れていても見学ができるので便利ですね。カメラを固定するスタンドは、こういうアームクリップを使うと良いとのことです。こちらのシュフーというアプリのテストを観察したのですが、デモなので被験者を参加者の中から募っていました。その際の募集条件として挙げていたのがこちらです。シュフーというアプリ(今回のテスト対象のアプリ)を使ったことがないちなみに、ユーザーテストにおいてある程度重要な項目を判定するには被験者が5人は必要だそうです。(主催者の経験則ではそれより多いと項目が被ってくるとのこと)ここから実際のユーザーテストの流れに入っていきます。控室にてリクルーティングした被験者に会場に来てもらったら、まず控室に入ってもらい以下のことをします。被験者は慣れていないのでいきなり思考を口に出すことがが難しい。端末の設定のところで、自動ロックがかかってしまうことが多いので、ユーザーテスト中にロックがかかると面倒なので、自動ロックの解除をしてもらっている。被験者端末が通信制限かかってることがあるからW-iFiをつなげるようにしておいたほうが良い。アプリ上でハーフパンツ探してください」)の正しい例や、思ったことを口に出しながらタスクを実行する様子を見せてあげるよくあるNGも見せてあげると良い他のアプリでその場でちょっと発話デモとかもしてもらう。発話が足りなかったり違ってたりしたら本番テストに入る前に指摘する。LINEとかSlackの通知がテスト中に表示されると気になるので、通知をオフにしてもらう。テストの流れでカメラロールを開く必要がある場合は事前に伝えて、プライベートな写真がみえないようにする(被験者が気にしてしまう)始める前に、不明点がないか聞く。不明点があれば解消する。以上が完了したら、テストルームに入ってもらいます。ケースにもよりますが、控室での談話はだいたい10-15分とのとです。テストルームにてテストルームに入ったら、被験者に椅子に座ってもらいます。タスク(テスト時にやってもらう内容)は口頭での説明だけだと忘れてしまうので、紙に印刷して被験者の手元においておきます被験者に質問タスク実施に入る前にデモではこんな質問を最初にしていました。どんな時買い物しますか?どれくらいの頻度でいきますか?普段からつかっていると。新聞の折込とかご覧になりますかどれくらいの頻度でどういったチラシを読みますかだいたい毎回みるチラシは同じですか?チラシを見たあとはどういう風にしていますか?この辺の質問も事前に用意しておいたほうがよさそうです。被験者にタスクを実施してもらうここからタスク実施に入っていきます。被験者にシチュエーションとタスクを書いた紙を渡し、声にだして読んでもらいます。不明点ないか確認し、実際にタスクを開始します。繰り返し、テストを終了します。事後インタビューこれも内容についてはケースによると思いますが、今回はテスト後にこのようなことを被験者に質問していました。Storeの5段階評価だといくつですか?このテストが終わってからアプリをどうしようと思ういますか?(プッシュ通知設定を切る・アプリ削除するかetc.)その理由は?例えば新聞がこなくなって、チラシがこなくなったらこれを使いますか?本日のテストとインタビューは以上です。ありがとうございました。いう形でユーザーテストは終了。その後被験者に謝礼を渡しますが、相場は1時間で交通費込で4000円とかが多いようです。Q&Aユーザーテストの後に、主催者と参加者間のQ&Aがあったので、そちらのメモも書いておきます。→内部でパイロットテストをして精査する。タスクの完遂を目標におく。普段だったらやめるというタイミングで言ってもらうようにするのもあり。被験者は意外と頑張ってくれるから(謝礼もあるし)、あまり気にしなくても大抵問題ない。ビジネスの関係であることはお互い分かっているので、仲良くならなくても大丈夫。意外とみんなフランク。観察されていることを忘れて素直にアプリをdisる人もいる。プロトタイピングとしての評価はできるので、コンセプトの検証としては良い。非アクティブな導線(押せないボタンがあったり等)が多くなるので、モデレータが逐一説明する必要がでてきてしまう。サンプル数を増やしたほうがいい。一般的に質的な調査は10~15人。そのくらいになると飽和してくる。謝礼を払うのはある意味リスク、ネガティブな意見が出づらい。本当にコンセプトを検証したければ、対象となる人をみつけて、お金を払わず検証。コンセプト検証ではなく、ユーザーテストに関しては謝礼を払って全然構わない。お金を払ったからといって上手く操作できるわけではない。ユーザーテストで評価するのは離脱とかではなく、インタラクション(ユーザーとコンピュータの対話)なので、そこを見誤らないように。統計的な信頼性はないが、質的なものとして大事。離脱についてはは計測でわかる。最後に全部がっつりメモをとったわけではないので抜け漏れもあるかもしれませんが、内容としては大体こんな感じでした。ユーザーテストの流れやインタビュー方法は本やWEBにも載っているとは思いますが、「じゃあどんなテンションで話しかければいいの?」という点は結構気になっていたので、今回第三者の視点で生のユーザーテストを観ることができて良かったです。第三者の視点で見ていると、質問が誘導的だなーと感じてしまうところも所々あったので、その辺も気をつける必要がありそうです。イベントの最後に主催者の方が告知をしていたのですが、、見学会でアプリのテストをしてほしい企業(無料。4週間くらいで実施までもっていけるそうです)・また会場提供スポンサーは随時募集しているとのことなので、興味がある方はこちらから主催者の方にご連絡してみてはいかがでしょうか。Peatixまた、今回の内容に興味をお持ちでしたら、主催者の方が執筆された本を読むと理解が進むと思いますので、ご紹介しておきます。Apiが開放されて、Bot作ってみた...2016-03-11MSQRDがリリース4ヶ月でFacebookに買収されるまでの軌跡2016/3/10にFacebookに買収されたMSQRD。24「インハウスSEO」に行ってきた時のノート(後半)この記事の後半記事です。Fujimakicitrus+というバンドをやってます。http://citrusplus.jp平日昼間はインターネットの会社@紀尾井町でエンジニアやってます。読者になるcitrus+citrus+というバンドをやっています。月別アーカイブ参加グループテクノロジープログラミングインターネットはてなブログをはじめよう!sfjmkさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。