noteで書く2006年11月のこと、僕は大手のアクセス解析ベンダを比較検討するリンクベイトのネタを広く提案した。Shootout」(2007年アクセス解析徹底比較)を発表した。Ericによる中間レポートは以前ブログで取り上げたけど、その時点ですでに有益な情報が報告されていた。今度出された最終レポートは比較対照データが満載で、適切な解析パッケージを選ぼうという人には、とてもよい取っかかりになると思う。Summary)のセクションで強調されていた。同じウェブサイトにインストールして同じように設定しても、アクセス解析パッケージによって出てくる数値は違ってくる。違いがはなはだしいこともあり、最も大きい数値を出したパッケージが、いちばん数値の小さいパッケージの150%も多いトラフィックを報告していることもあった............解析で生じる誤差の最大の要因は、サイトへのインストール方法の間違いだ。アクセス解析ツールのインストールはソフトウェア開発プロジェクトのように行われる必要があり、正しくインストールされたことを確かめるには、ソフトと同じくらいの精査とテストが必要になる............ほかに結果の相違を生み出す大きな要因が2つある。1つはJavaScriptの置き方で、あまりページの下の方に置くと、JavaScriptが実行される前にユーザーがページを離れてしまうことがある。JavaScriptが原因でカウントされなかったトラフィックは、訪問のデータが失われるため(少なくとも本来のランディングページに関するデータと、検索エンジン由来のトラフィックの場合はキーワードデータも失われる)、誤差が生じたと見なすことができる......ただ、このレポートに反論する人がいないわけじゃない。Kaushik氏は、レポートを大筋では評価しながら、いくつか懸念も示している(このことをブログに書いてくれたらよかったのだけど、このビデオのほかにはリンクできそうなものがない)。レポートについてEricに簡単なインタビューを申し込んだところ、応じてもらえた。Rand:このアクセス解析比較プロジェクトは完成までに9か月かかりました。プロジェクトを立ち上げて実施するなかで、難かしかった点、時間がかかった点を教えてもらえますか?まず、参加するベンダーとウェブサイトを集めるだけで3か月かかりました。ベンダーごとにインストールの手順を学ばねばならず、さらにそれを参加する各サイトに実際に行っていく必要がありました。参加サイトへのコードの設置ができてしまえば、実際のデータ収集に関しては私たちの側でそれほど作業はありませんでした。興味深いパターンが浮かび上がってくるよう、データ収集に数か月かけました。定性的な分析も意図していたので、きちんとまとめられるように各アプリケーションでさまざまなことをやって、何ができて何ができないのかを明らかにするのに多くの時間を割きました。これに関していろんなベンダーに電話で教えを求めたので、これにも多くの時間がかかりました。最後に、大事なことを忘れていましたが、データの分析には相当の手間がかかりました。膨大な数値データが集まっており、意味のある情報が浮かび上がってくるまで、大量の分析を行わなければなりませんでした。Sciences(WebSideStory)は日本では事業を行っていない。Sciences(HBX)など、ハイエンドの顧客をターゲットにしているものがあって、これらは高い柔軟性とカスタマイズ能力を備えています。行動ターゲティングなどの用途にも使えるんです。したものはインストールが比較的難しくなります、基本的なことに余計な手間がかかることがあるのです。Sciencesの)HBXでは、DNSサーバーの設定にCNAMEレコードを追加して、解析用のcookieがファーストパーティCookieになるようにするする必要があります。これをやることで正確性がいくらか上がるのですが、やりたくないという人もいるでしょう。それが済んでトラッキングしたいものの設定に入ると、JavaScriptのカスタマイズが必要だと気付くことが、ほかのパッケージの場合よりも多くなります。間違ったインストールについてですが、解析の際の誤差の1番の原因はJavaScriptのタグエラーだというのが、アクセス解析業界の常識だろうと私は思います。それを証明する具体的なデータは手元にないのですが、たとえば、付けるべきタグが付いていないページに何度も遭遇しました。これはまだ序の口です。JavaScriptのカスタマイズ(たとえば、ページをグループ化するために共通のラベルをタグ付け)を行うのですが、そのカスタマイズがゴチャゴチャになってしまうことがあります。開発者が間違ってタグを消してしまう可能性もあります。最後になりますが、不正な形式のJavaScriptをページに追加してしまうこともあって、その種の間違いは何度か見たことがあります。会社がやらなければならないのはなによりも、ソフトウェアの開発プロセスと同じように、検証とテストを行うことです。データが出始めたら疑いを持ち、つじつまが合っているかどうか確かめる必要があります。Rand:レポートを読むと、ページビューと訪問のデータにかなりのばらつきが見られます。Joseのプレゼンで話をしたのですが、数値の違いにはいくつかのタイプが考えられます。処理されるデータの質、あるいは曖昧さ――ウェブは乱雑です。ウェブ上の集計というのは、確定的に決まるものではまったくありません。AOLからのユーザーはセッション中にIPアドレスが変わることがあります。プロキシがリファラ情報を削ってしまうこともあります。約3%のユーザーはJavaScriptを無効にしています。2~3%のユーザーはcookieに対応していません。した問題は多数あります。パッケージによって問題への対処が違います。cookieを受付ない人からはセッションに関する情報を集めないパッケージがあれば、IPアドレスやユーザーエージェント名のトラッキングを最後の拠り所にしているパッケージもあります。セッションの扱い――業界で標準的なセッションのタイムアウト時間は30分ですが、すべてのパッケージでそうなっているわけではありません。ClickTracksはデフォルトで15分です(もちろん30分に設定することは可能)。JavaScriptの配置――これも大きな原因になっていることがが判明しました。訪問者数を計算する解析用のJavaScriptが実行されるのを1.4秒遅らせて影響を測定したところ、トラフィックが2~4%減少することが判明しました。JavaScriptの実行までの時間を増やすと、この問題はもっと大きくなると考えています(JavaScriptが実行される前にユーザーがリンクをクリックしてページを離れてしまう可能性が大きくなる)。Appetizerは日本語版は提供されていない。Appetizerという答えになると思います。質問から、分析のニーズは比較的単純なものだろうと想定しています。それに、そうした企業では予算に限界があって、解析に割けるお金は少ないと思うのです。すると無料の製品が最適かもしれません。費用は社内でツールを使う人の人件費だけで済みます。Rand:それでは、比較的大きな会社やサイト、1日あたり1万ビジター以上で、もう少し複雑なアクションやコンバージョンのトラッキングが求められるところに話を移しましょう。残念ながらIndexToolsも日本では事業を行っていない。Appetizerでは機能が足りないのだとすれば、ClickTracksやIndexToolsが中規模パッケージとして良いでしょう。無料ツールよりずっと豊富な機能が手ごろな値段で手に入ります。最良の選択というのは実際の要件で決まるもので、それはサイトによって大きく変わってきます。Rand:最後に、1か月あたりのビジターが何百万という、かなり規模の大きいサイトに向いているところはありますか?Googleを含め、すべてのベンダーには企業レベルのユーザーが付いています。Googleはサイトでいくつか公開していますし、ClickTracksやIndexToolsも企業ユーザーを大量に抱えていて、ユーザーは必要なものをツールから得られています。予算があるからといって、必要もないハイエンドのアプリケーションにお金を払う理由はないのです。いえ、トラフィックがこのレベルになると、大々的なカスタマイズができるパッケージが必要になる可能性は高くなります。ダイナミックな解析でデータを行動ターゲティングシステムに送って、ウェブアプリケーションを実行中にアップデートするということが考えられます。Sciencesやオムニチュアのパッケージには付いています。NetInsightを真剣に検討する必要があります。最後の3つの質問への答えをまとめると、どのパッケージを選ぶかは価格ではなく要件で決めるべき、ということです(もちろん、パッケージの価格が手の届く範囲で)。Rand:レポートで測定の基準値として「平均値」を使っていることを、大きく問題視している人がいるようです。基準値の必要性はわかるのですが、どうして、ログファイルのデータや、ページロードや訪問だけをチェックするカスタムのJavaScriptを使わず、「平均値」を選んだのですか?平均値が実際には標準に相当しないことは承知していました。いうのも、この場合正しい答えのようなものはなく、正しい答を装うつもりはなかったのです。これを使うことで標準偏差による解析ができて便利だったのです。標準偏差を使うとパッケージ同士がどう違うのか、見通しのようなものがつかめると思っています。ログファイルを調べたもののほうが標準として良かったかもしれませんが、使える時間には限りがありました(作業は数百時間に及んだ)。それよりも、このデータから次のことを読み取ってほしいと思います。ビジターが最も多いパッケージは最も少ないパッケージより、50%もビジター数が多くなるケースががあります。これはすごい違いです。4つのサイトについて訪問数、ユニーク訪問者数、ページビュー数をみたとき、相対的にどのパッケージが多くてどのパッケージが少ないかは、サイトによってかなり違います。JavaScriptの配置が結果に与える影響について集めたデータから、これが大きな問題であることがわかりました。実は、われわれはこの点についてさらに深く研究しようとしています。この情報が最も役立つ分野は何でしょう?私たちはレポートからいくつか大きな結論を導き出しました。解析パッケージは正確ではありません。少なくとも、絶対的な意味では。このことは今回の調査で学んだ最も明らかなことの1つです。解析という点で見ると、インターネットは乱雑です。トラフィックの測定だけでも単純ではなく、ましてや解析となるとなおさらです。パッケージの比較測定の能力は際立っているので、これを使いこなすことに集中することです。SEO関係のアクセス解析、PPCキャンペーン解析、顧客のセグメント化、A/Bテスト、多変量のテストはかなり有効です。有用でROIが見込めるのはここでしょう。サイトで使っているアクセス解析パッケージの精度の問題を把握しておくこと。集めたデータの有効活用法がわかってきます。あらゆる手段で検証・較正する。PPCキャンペーンの総売上を計算するのにアクセス解析ツールを使ってはいけません。データの一部が抜け落ちることになります。この場合は、PPC広告のURLパラメータで知りたいことを把握します。Joseの「解析を解析する」セッションでは、私が見たところ出席者の50%が、サイトで複数のアクセス解析パッケージを使っている様子でした。パッケージの長所と短所はさまざま。どのパッケージが会社にとってベストなのかは、具体的な要件とパッケージの長短を比べて評価します。サイトが大きいという理由で高いパッケージを買わないように。具体的には、HBXはたいてい他のパッケージよりもカウント数が少なく、ClickTracksは他のパッケージよりも多いということは言えそうです。このことは、8.1でも書いたように、各パッケージから大変価値のあるデータが入手できる事実に影響するとは思いません。Ericにお礼を言いたい。洞察力に富んだインタビュー(この先ずっと、このインタビューとレポートを引き合いに出すと思う)はさることながら、この力作に費やされた何百時間、さらには、解析ツールのユーザーやアクセス解析の必要があるみんなに技術的・比較対照の見地からよりよい見取図を与えてくれたことに対して。Ericへの支援を表明したいという人は(僕からもお願いしたい)、彼のサイトと今回のレポートにリンクを張ろう。これはすばらしい価値のあるバイラルコンテンツだと僕は思う。アクセス解析ツールのアカウントをもっているマーケティングのプロは、決して見逃せないものだ。掲載された以下の記事を日本語訳したものです。最近(過去90日間)の記事で、Facebookの「いいね!」が多かった記事をお見逃し無く。ネット広告への強い嫌悪感、テレビや新聞の倍以上に。いいね!伝説のTwitter企業アカウント“中の人”の先駆け。いいね!私は変人コレクター。ポータルサイト運営企業にてマーケティング担当の募集です。ビジネス成果に貢献する5つのTips売上が伸びるECサイトの必須条件。行動ターゲティングネット広告の種類の1つ。Patterns』を3名様にプレゼント!【受付終了】企業がDXに向かう取り組み方を考える『デジタルファースト・ソサエティ』を3名様にプレゼント!すべて見るインフォメーションWeb担のメルマガを購読しませんか?Web担の記事がコンパクトに毎週届くメールマガジン「Web担ウィークリー」は、10万人が読んでいる人気メルマガ。忙しいあなたの情報収集力をアップさせる強い味方で、お得な情報もいち早く入手できます。編集後記サイトマップFAQ(よくある質問とその答)Web担に広告を掲載しませんか?購読者数10万人のメールマガジン広告をはじめとする広告サービスで、御社の認知向上やセミナー集客を強力にお手伝いいたします。