noteで書く前回までは、調査対象者のサンプリングや回収率による偏り、標本誤差といった話をしてきました。今回は「調査方法や内容に潜む罠」と「チェックの重要性」に関してお話しします。同じ内容の調査をするにも、さまざまな実施方法があります。)と非対面調査(郵送調査、インターネット調査など)、機械式調査(インターネット視聴率調査、テレビ視聴率調査)があります。対面調査には「メイキング」の可能性があるここで言う対面調査とは、調査対象者と調査員が直接話をして、調査員がアンケート用紙に回答を書き込む方式を指すことにします。上で挙げた方法の中では、訪問面接調査と電話調査が該当します。訪問面接調査では、調査協力者のお宅に伺って、調査協力者に質問をしながら回答を引き出します。電話調査も直接調査協力者と話をしながら回答を得ていきます。相手の反応を確かめながら調査できるので、曖昧な点や質問の意味などをきちんと理解してもらうことができます。会話だけでなく、相手の仕草なども確認できる点では、訪問面接調査の方が優れていると言えます。対面調査もよいことばかりではありません。手間が掛かりますので、費用は訪問面接調査の方が掛かります。調査対象者の方に時間があまりない場合や、協力姿勢がない場合は、いい加減な受け答えをされてしまうかもしれません。いった回答も同じ1票になる可能性はあります。訪問面接調査では、ある住宅地のブロックで調査員が何軒置きかにお宅を訪問するといったことをしますので、訪問したお宅の不在が多いと中々回答を得ることができません。このときに問題になるのが、調査員が自分で回答を作ってしまう「メイキング」という行為です。集計してはいけないものが混ざってしまうということです。Interview)が多いので、こういう不正をその場で行うことは難しいと思います。非対面調査は「いい加減な回答」の排除がポイント一方、非対面調査である郵送調査やインターネット調査は、調査対象者の時間があるときに、アンケート票や質問画面に記入・入力してもらいます。調査に協力する姿勢があれば、きちんと回答してくれる可能性は高いでしょう。どの程度まじめに回答しているかはうかがい知ることができません。自由参加型のインターネット調査で、ポイントを稼ぐことが目的の調査協力者のいい加減な回答はどのように排除するのでしょうか?実のところ、調査員による「メイキング」やいい加減な回答の排除は、各調査会社のノウハウになります。メイキングの発見はベテラン調査員の経験がものをいうのでしょう。いい加減な回答の排除は、最後にお話するデータチェックの中に組み込まれていることでしょう。費用が安くすむ幅広い地域の調査ができるサンプルが偏る可能性が高いインターネット視聴率調査はソフトウェアで測定している最後に機械式調査について述べます。ネットレイティングスのインターネット視聴率調査では、測定対象のパソコンにソフトウェアをインストールします。そのソフトウェアがどのウェブページをだれがどのくらい閲覧していたのかといった情報を取得し、リアルタイムにその情報をネットレイティングスが用意したデータ収集用のサーバーに送り出します。調査対象者側ではほとんど何もする必要がないので、そういう意味では、ソフトウェアのトラブルがない限り完璧な気がします。人は「自動的」という言葉に弱いようですが、どういったデータを取得しているかを確認しましょう。何気なく「そのソフトウェアがどのウェブページをだれがどのくらい閲覧していたのかといった情報を取得する」などと書きましたが、たとえば「どのページを見ていた」のかを、そのソフトウェアはどう判断するのでしょうか。アドレスバーに表示されたURLでしょうか。その場合、ページがフレーム構造だったら親フレームだけを計測するのでしょうか。それともリクエストされたファイル情報をすべて取得し、さまざまなアルゴリズムを駆使して、表示されたページの判定を行うのでしょうか。実はこの「わかったつもりになっていること」こそ、根本的な誤解を生む原因なのです。これは次回の指標の定義の話の中でも触れます。テレビ視聴率調査の「ピープルメータ」とは?ビデオリサーチの3大都市圏におけるテレビ視聴率調査は、PM(ピープルメータ)システムという機械式で行われています。これは、テレビごとに設置した視聴チャンネルを測定する「チャンネルセンサー」と、個人の視聴を入力・表示する「PM表示器」により世帯視聴率と個人視聴率を同時に調査する方法です。機械による測定方法は、完全なのでしょうか。何か気を付けるべきことがあるのでしょうか。どのようにして「おとうさんが見た」ということを知らせる方法をとっているのでしょう。ビデオリサーチによれば、「PM表示器には世帯内の個人各々のボタンがあり、視聴の開始時と終了時にそれを押すことにより個人の視聴を登録していただきます。ボタンには個人の顔のイラストをつけ、入力確認がしやすいよう工夫しています。リモコンによる遠隔操作も可能です。(調査対象は世帯内の4歳以上の家族全員)」とあります。「別の人が押し間違えたらどうなるの」とか「視聴が終わっても押しっぱなしになっていたらどうなるの」とか「4歳の幼児がそんな操作ができるの」とか気になることがいっぱい出てきました。機械だからといって完全ではないと理解しなければなりません。人気のアイトラッキング調査も完全ではないインターネットにかかわる皆さんは、アイトラッキング調査をご存知でしょう。ユーザビリティの調査などで、ウェブサイトの利用者がページのどの部分を見ているのかを機械的に測定する仕組みです。以前は小型カメラのついたゴーグルをつけなければなりませんでしたが、最近はそういうことも不要になっているようです。アイトラッキング調査は、目の動きやどこを注視していたかという事実のデータは取れます。その部分や意味を正しく認知しているかはわかりませんし、被験者に与えたタスクによって行動が違ってくるはずです。違うインプットに対してアウトプットが違ってきます。慎重な解釈も必要になります。アイトラッキング調査の例は、定量的な調査ではなく、定性的な調査の例ですが、それぞれの機械式の特徴や限界を知って使わなければならないことがおわかりいただけましたか?使えない数字を作り出す罠の数々マーケティング調査の専門書を読めば、中立的な質問の仕方や、選択肢の作り方、質問の順番などについて書かれています。ここではその話を詳しくしませんが、これらの項目の設計によって、回答そのものや結果に対する印象も異なってきます。そのためどのような調査を行ったかを客観的に知るためには、今までお話ししてきた調査の方法を踏まえた上で、どのような質問文と選択肢が用意されていたのかといった情報も必要です。皆さんの身近なところでは、アクセス解析も調査の一種と言えます。これまでに述べてきたような調査における注意点は、もちろんアクセス解析のデータ収集や分析においても有効です。ウェブサイトのアクセス解析のデータには偽装されたデータや、元々あったのに削除されてしまうものがあります。それほど頻度が高い訳ではありませんが、そういった事実を知っているのと、データが完全であると信じているのとでは、数字を解釈する際に大きな違いが出てくると思います。ご存知の方も多いでしょうが、ユーザーエージェントはブラウザによってはクライアント側で偽装することもできます。参照元のデータは、セキュリティソフトウェアの設定によって、取り除くこともできます。作為的なことをしなくても、参照元のデータはすべてに紐付いている訳ではありません。メーラーなどのアプリケーションソフトウェアの書類のリンクをクリックしてウェブサイトにアクセスした場合、参照元の情報は空です。ウェブページでFlashコンテンツのリンクをクリックしても同じです。ウェブマーケティングで不必要なデータは集計しないことウェブサイトのアクセスログには、ロボットやクローラと呼ばれる検索エンジンなどのアクセスの他、悪意を持って攻撃してくるアクセスのデータが記録されます。これはウェブサイトの負荷やSEO(検索エンジン最適化)を考える上では重要な情報ですが、ユーザーがサイトのどこを閲覧しているかといった純粋なウェブマーケティング面からは余計な情報です。アクセスログを分析するためのさまざまなツールがありますが、集計の前に、こういったロボットのアクセスを含める、含めないといった集計の設定を多くのツールで行うことができます。最近のパソコン用ソフトウェアのインストールのように、この初期設定はわかりやすく、システム担当者でなくても迷わず進めていくことができるように進化してきています。初めは理解しにくいことも多いと思いますが、最初が肝心なのです。集計した結果、自分が想像していたものと違うと思ったら、どういう設定をしていたかに立ち戻ることで解決することもあります。URLのパラメータを削除するか、しないのかもう少しアクセス解析の例を続けます。動的に生成したページのURLの処理で、特に何も設定していなかったため、URLに付いているパラメータがすべて削除されてしまって、あまり価値のない集計データになってしまうといったケースがあります。EC(オンラインショッピング)サイトで、数多くの商品カテゴリや商品を扱っている場合、各商品のページを動的に生成し、URLに商品カテゴリや商品に対応したパラメータを付与することがあります。ウェブ担当者は人気の商品カテゴリあるいは人気の商品のランキングを見たいと思うのですが、標準機能ではパラメータをすべて無視してしまうというものだったとします。計測をスタートして1か月目にまとめて数字を見ようとした担当者は、そういう集計がされていないことに愕然とします。した追加設定だけで済むのであれば1か月のロスで済みますが、かなりのシステム変更ということで追加費用を請求されないとも限りません。自分はどんな数字を見たいのか、そして見たい数字が取れるかどうかを最初に確認しましょう。データチェックとは集まったデータをチェックするプロセスも意外に大事なのですが、あまり気に留められません。すべての問いが無回答であれば、その回収票全体が無効と判断します。ある質問群だけ、すべて同じ回答をしているものは、「まじめに答えていない」疑いで、その質問だけ無効と処理することがあります。後は論理チェックを行います。質問の分岐を無視している場合や前後で整合性のない回答は、何らかのルールで判定するようにします。機械式の調査でも、チェックは必要です。何かのシステムの不具合で集計が暴走することもありますし、ユーザー側のシステムの暴走でおかしなデータが送られてくることもあるでしょう。不思議なデータが出てきたら、まず問い合わせてみる習慣を付けましょう。調査票が公表されている調査は信頼性をチェックできる3回目までで読者の方にできる簡単なチェックをお教えします。前回お知らせした調査概要ですが、調査方法が書いてあるか確かめましょう。調査票まで公開している調査はそれほど多くありませんが、公開されていればそれも参考にしましょう次回は「集計方法と指標の定義」について説明します。メーカー勤務後、日経BP社へ。調査部、インターネット視聴率センター長などを経て、2000年ネットレイティングスへ。視聴率サービスやアクセス解析サービスの立ち上げに尽力。2006年株式会社クロス・フュージョンを設立し代表取締役に。現在アユダンテ株式会社の社外フェロー、アクセス解析イニシアチブ副代表も兼任。最近(過去90日間)の記事で、Facebookの「いいね!」が多かった記事をお見逃し無く。ネット広告への強い嫌悪感、テレビや新聞の倍以上に。いいね!私は変人コレクター。CEM」の提供を開始LINEのマーケ活用術――ナーチャリングからリピーター醸成まで解説するセミナー2/20開催MaaSが普及したら「自家用車を手放すことを検討する」48%【アクセンチュア調べ】2019年にもっとも注視されたテレビCMは、クボタ「壁がある。2/19(水)@ステーションコンファレンス東京リピーターを呼び込む「究極の集客方法」。リピーターを呼び込む「究極の集客方法」。2019年12月すべて見るインフォメーションWeb担のメルマガを購読しませんか?Web担の記事がコンパクトに毎週届くメールマガジン「Web担ウィークリー」は、10万人が読んでいる人気メルマガ。忙しいあなたの情報収集力をアップさせる強い味方で、お得な情報もいち早く入手できます。編集後記サイトマップFAQ(よくある質問とその答)Web担に広告を掲載しませんか?購読者数10万人のメールマガジン広告をはじめとする広告サービスで、御社の認知向上やセミナー集客を強力にお手伝いいたします。