aboutウェブサイトヒューリスティック調査の点数付け(ランキング化)の意義についての疑問Tweet一応IA(インフォメーションアーキテクト=情報設計者)として飯を食わせてもらってますので、ウェブサイトのヒューリスティック調査の依頼とかよく依頼が来ます。他社さんがやられたのとかを拝見することがあるんですが、ずっと疑問だったのが、スコアつけてグラフ化したやつ。評価項目は至極適当です。気にしないでください。いうの、今まで一度もピンと来たことが無いので、この際このモヤモヤをハッキリさせておこうと思いました。以下、結構身も蓋もない話が展開されますので、この手の話が嫌いな方はスルーして頂くか、あるいは是非とも意見を下さい!ご注意願いたいのは、ヒューリスティック調査自体は意義あるものだと思ってます。そのアウトプットを点数にするのが無理あるんじゃないか、というだけですので、悪しからず。グラフ支持の人からありそうな意見としては、こんな感じですかね。比較しやすいじゃないか!改善方針が出しやすくなるやんけ!クライアントが理解しやすいねん!ひとつづつ検証したいと思います。比較しやすいのか?比較観点の前に、まずこの点数が何を意味するのか?ですが、絶対評価をしたいのか、相対評価をしたいのかで意味が変わってくるかなぁと思うので、そこから整理します。絶対評価つまり、満点である10点に対して、現時点の点数を評価する、という意味合いになるわけですが。ここでいう満点って何がどういう状況になれば実現できるのでしょうか。「これ以上何の改善施策も思いつかない!」という状態を指すのでしょうか。いう意味では理論上定義可能ではあります。世の中にそんなサイトがあったら教えてほしいのですが、たぶん誰も挙げられないと思うので、実現性が無いという意味で評価の意味を成さないような気がしてしまいます。相対評価ユーザビリティ観点の相対評価がしたいとして、じゃあ次に「何と何を比較したいのか」ということになるわけですが。場合、以下のどっちかということになるかと思います。自社サイトを改善前後で比較したい場合あんまり後者のパターンは聞いたことないですが、まぁ理論上ありえるということで。自社サイトと競合サイトを比較したいよく出てくる話です。個人的には、ウェブサイトの他社比較って大抵の場合あんまり意味ないと思っているのですが、それは別稿に譲るとして、こういうご依頼が多いのは事実です。下にさっき出した図を再掲しますが、結論としてはこういう図が求められている、ということになります。ハテ、この図から何が分かるのか...という話になるわけですが。この図で分かるのは競合Bには全ての点で優っている競合Aに対しては、回遊性と視認性では劣っているが、それ以外では優れているということなんですが、それが分かって誰が得するのかが私にさっぱり分からないんですよ...。この図は、例えば以下の疑問に答えられるだけの情報量が無いんですねぇ。競合Bは参考になる施策は1つも無いの?それともちょっとはあるの?あるとしたら、それはどこなの?回遊性を向上させて競合Aを超えるスコアを記録したとして、それで満足したらいいの?だめなの?3社中トップのスコアである項目は改善しなくていいの?それともやるべきなの?強豪に負けてる回遊性は7点だけど、トップだけども点数が低い操作性6点、どっちを優先して改善したらいいの?これらに対する答えは、このグラフを出す前に行ったはずの調査工程自体にあるはずですよね。いうことで、敢えて追加コスト払ってまで点数化することで得られるメリット何だ?という結論が得られません。自社サイトを改善前後で比較したいこっちの方が俺はまだ意義あるように思いますが、話としては少ないです。いう図を期待することになるのだと思いますが。この比較、調査スパンが1ヵ月とかならまだいいですが、半年とか期間が空くと、この調査は意味を成さないと思います。同じ企業でも、全く同じ調査員を当てないと2回の調査基準が合わない。合わないというか絶対ズレる。調査員は日々変わりまくるウェブのトレンドに晒されているので、同じ人が調査しても視点がアップデートしてしまっている調査会社と施策実施業者が同じの場合、業者心理として改善後のスコアを下げるわけがない自分の身に置き換えて考えても、今やった調査と半年後の調査の視点を合わせられるかといったら絶対合わせられないです。いうか、半年経ってもユーザビリティのセンスが変わってない人間がいたら、そっちの方が問題です。調査後の改善施策が1ヵ月、遅くても3ヶ月後に改善施策を実現できる目処がたっていて同じスタッフで再度自己評価するところまで依頼が確定している改善施策実施会社と、調査会社を別で契約しているという条件においてのみ、という感じになってしまいました。こんなこと実際にあるのかしら。改善方針が出しやすいのか?次に、改善方針が導きやすいぞ!という声についてです。調査の仮定でいろいろと問題点が発覚するでしょうが、それらは調査時点ではただの文字の羅列。そこにコストとの兼ね合いで優先度をつけて施策化してく、という意味でこれは一理ありそうです。いうことで、この図から「次の施策の優先順位を決めよう!」となるわけですが。ぇ!という結論になりそうな気がします。これでざっくり優先度が付きましたが、もっとディテールに突っ込んでひとつひとつの施策を選択しなきゃならんという時に、有効なのでしょうかこれ。改善予算があまりとれない場合はかなりシビアにピックアップする必要があります。費用対効果の観点ではこの選定が超キモになるはずです。この過程における私の懸念を挙げておきます。懸念という言葉を使っているのは、私がこういう状況に際したことがないので、単純に私の脳内シミュレーションの域を越えないからです。問題点と改善方法は一意に紐付かない経験上、調査により可視化された問題点のほとんどは、それぞれが重複していたり、競合関係にあったり、包含関係にあったりします。視認性を上げたいということで商品画像を大きくしたら、今度は商品同士が遠くなって比較しづらくなっちゃいました、みたいな例。あるひとつの問題点が、他の問題と完全に背反して単独に存在するケースなんて、あんまり無いです。その関係性を完璧に定義するのは不可能です。論理的には可能ですがコストがかかりすぎて意味が薄いです。問題点の優先度がつけただけでは、有効な施策を選択するところまでは至れません。整理しながら最適な施策の組み合わせを選定する、という工程が必要になるわけです。ここで言うのは、ざっくりした優先度をつけることに意味が無いということではなく、それだけでは施策に落ちませんよ、ということです。↓の方はもっと根本的な話です。そもそも調査者には、このグラフを作る前にすでに優先順位が見えているこれはもう身も蓋もなさすぎる話なんですが。調査者は、自社も他社もかなり細かいところまでサイトを舐めつくすように見ています。調査してるんですから。何時間も見てると、「ここがクリティカルにやばい」くらいの察しなんてだいたいついてるわけです。言うと、制作経験のある調査者なら、問題点ひとつひとつの改善コストだってもう見えてます。CMSで変えれば一発で終了なのか、ひとつづつ潰してく必要があるからハイコストになるか、あたりはレポート出す前からもう分かっています。いうことで、グラフなんて作らなくても、視認性だとか回遊性だとかいうレイヤーよりももっとディテールレイヤーでの優先順位が、実はもう定義できる状態になってます。それを上手く可視化できるかどうかはその調査者のウデ次第ですが。それに対してクライアントが「納得いかん」ということを言い出すと、まぁスコア化の意義もあるかもしれませんが、対クライアント目線という意味では次の3.に話を譲ります。施策優先度の判定、という意味でのまとめということで、だいたいの優先順位をつける目処はつくが、実はその必要って無いかも...というのがこの項の話でした。クライアントが理解しやすいこれは一番分かります。みんな限られた時間で業務しているわけなので、たかがウェブサイトの調査で50ページとか100ページの文字文字したドキュメントなんてちゃんと見れるか!という話ですわな。言うと、そうでもしないと依頼者がその上司に報告しづらい(というか上司が理解してくれない)、という側面もあるでしょう。しょうがないわな...と思いつつ、こういうことを俺たち受注側が許してると、ずっとデジタル従事者の議論が本質からズレ続けるというか、長い目で良いことが全く無いと思います。乱暴に言うと、クライアントを甘やかすことのツケが、デジタル業界の地位向上を阻んでいると本気で思っています。我々ベンダーは、我々の持つ専門分野において、もっとクライアントを教育する姿勢で望むべきでしょう。いや、別に文字通り「教育してやる」という態度をとるという意味ではなく。重要なのは、「意味ないのでやめましょう」ではなく、「意味ないのでこっちの方がいいです」と舵取りをしてあげることかと。いうことが出来ない同業者は多いです。上から目線ですみませんが。クライアントも我々も、業務を通じて一緒に目を肥やしていく関係になればいいなぁと思うのですが。結論ということで、ヒューリスティック調査をスコア化する意義がある状況は、以下に該当する場合かなぁというのがこの記事で得られた整理ということになります。短スパンで同じ評価者が改善後評価することが決まっているとりあえず、施策のことは置いといてざっくりと優先度を得たいクライアントが何らかの理由で熱望している私は、いちおう「ユーザビリティ調査は次の施策を導くものでないと意味がない」という信念がありまして、上の3つを見ても...どうも施策に落ちるという結論になりません。スコア化の意義がよくわからん、と思うに至っている次第です。どないせえちゅうねん定性調査なんだから、無理にスコア化するんじゃなくて、問題点の抽出手法として素直に捉えればいいと思っています。レポートをメールで送って終わり、じゃなくて、ちゃんとクライアントに調査結果と得られた問題点を説明して、かけられるコストと合わせて優先順位をつけて、ひとつづつ施策に落としていくべき、と。ヒューリスティック調査はそういうもんじゃないかしら、というのが私の考えです。ただの理想論ですかね?参考サイト本稿とは全く関係無いですが、エクセルで円形のレーダーチャート作り方法を教わりました。調査コメントコメントをどうぞ(承認後に反映されます)返信をキャンセルする。(8)aboutわたしについて楽器と機材を紹介するライブ情報リンク当サイトについて意識低い系UXストラテジストいまさしのライフログFacebookRSS著者:いまさし都内の某デジタルエージェンシーで働く意識低い系UIストラテジスト。休日はジャズベーシスト兼ゲーマー。imasashi.net。