元データ分析の会社で働いていた人の四方山話スマートフォン用の表示で見る元データ分析の会社で働いていた人の四方山話この広告は、90日以上更新していないブログに表示しています。2012-11-17DMPはどのようにCookieデータを収集しているか(オンラインデータ編)CookieSyncとDMP前回、CookieSyncの技術について簡単に解説しました。CookieSyncを使えば2つの異なるシステム(ドメイン)で発行されるCookie情報を交換することができます。DMPはこの技術を駆使してCookie情報を収集し、オンラインのデータを次々に紐付けていきます。今回も前回のブログ記事の続きのこちらとこちらの記事の内容を用いて、DMPがどのようにオンラインのデータを収集しているかを見て行きましょう。Dataこちらの図が非常に分かりやすいので引用します。図からDMPが2種類のデータを所有していることが分かります。DMPCookieID:OtherSystem2CookieIDというデータが集まってきます。後はこれを同一DMPCookieIDでまとめてしまえば、DMPCookieIDをkeyにしたCookieのマスターテーブルのようなものが作れてしまいます。2.他システムにおけるデータCookieの管理テーブルが用意できていれば、後は別途CookieIDをkeyにしたデータを送ることによって、DMPはDMPのCookieIDでユーザー(ブラウザ)を特定した状態でデータを管理することができます。※この項目は当該ブログ記事に明記されていなかったので推測になります。DMPと連携しているシステムからは、CookieSync済みのDMPCookieIDをkeyとして問い合わせることで、DMPで収集している様々なデータを取得可能になります。これによって自システム以外のオンライン上の広大な空間でのユーザー(ブラウザ)の行動情報を取得可能になります。Platformこちらの図が大変わかり易いので引用して説明します。以下の箇条書きの数字は図の番号と対応しています。ユーザーがサイトを訪れ、ページのHTMLをリクエストするコンテンツサーバーはユーザーにページを返す。そのページには、DMPのコンテナタグ含まれているページの残りがローディングされている間に、コンテナタグはブラウザに強制的にDMPを呼び出させる呼び出されたDMPは管理しているタグを返す。このタイミングでDMPのCookieがユーザーにセットされる。(タグを返すと書いたがイメージで、実際はCookieSyncの技術と同じく1x1pixel画像を利用したリダイレクト)ユーザーはDMPから返された情報にしたがって、各種システムにリダイレクトさせられる。このタイミングでユーザーには各システムのCookieがセットされる各システムのCookieのセットと同時にDMPへのコールバックも行う。そのコールバックには、URLに各システムにおけるCookieID(ブログ記事本文ではUniqueIDと書いているがCookieIDのことでしょう)が付与された状態で行われる。IDは暗号化されているのが望ましい。DMPはその情報を受け取り、DMPのCookieIDと照合した上で保存する。CookieIDの交換が完了さえしていれば、後は非同期にCookieIDとそれに紐付くデータをDMPが取得すれば、データベースの構築が完了するこのあと、DMPは独自にデータの分析を行います。どのようなデータを収集しているかと合わせて、この分析がDMP同士の差別化ポイントだったりするのでしょう。それはともかく、このような流れで溜め込まれたデータを、必要に応じてDataExchangeに流通させたり、DSPやアドサーバーに提供していきます。ここがDMPのマネタイズポイントですね。DMPがタグマネジメント機能を提供することで、様々なシステムとCookieSyncを実現しているのが理解できます。先にシステム間のCookieIDの交換が完了していると、実際のデータは後から任意のタイミングでDMPに投入すれば良さそうです。できるだけユーザー体験を阻害しないような配慮ですね。Cookie交換のところのセキュリティに関しては、IDの暗号化をエクスキューズにしているようです。この当たりはまた突っ込んで考えていきたいと思います。まとめ私は実際のDMPのシステムに触れたことはないので、情報の参照元にしたブログ記事の正確性がどの程度現実に即しているのかは不明ですが、技術的には実現可能そうなので、大きく外れてはいなさそうですね。DMPについて理解が深まってくると、とにかくユーザーの情報が欲しいマーケッターやターゲティングに活用したい広告業者にとってはぜひ欲しいシステムなんだろうなと納得できます。Googleを始めとする一部のプラットフォーマー以外が、ここまでの規模でユーザーの情報を取得できたことはないはずなので、やはり様々な業界で大きなパラダイムシフトをもたらしそうな期待感は高まります。一方で、技術者としてはセキュリティ大丈夫なのかなーと思ったりしますし、ユーザーとしてはどこまでどんな情報収集してるのよ、という不安感が出てきたりします。センシティブな領域ではありますが、技術的にもビジネス的にもチャレンジングかつ面白い分野なので、ビジネスサイドによる需要ドリブンでの盛り上がりだけでなく、多くの人を巻き込んで良い感じに進んで行ってほしいものです。タイトルから類推できそうですが、次はオフライン編について触れようかと思います。危険な匂いが増していきますね!おまけCookieSyncやDMPに関しては、今現在、日本語での技術的な情報源が少ないですが、以下のものが非常に良い感じで参考になります。あわせて読むと理解が深まるはずです。@ritouさんによるCookieSyncメモScaleOutさんのCookieSyncのエントリScaleOutさんのpiggybackのエントリScaleOutさんのタグマネジメントシステムのエントリScaleOutさんの情報発信力はさすがですね。10:30DMPはどのようにCookieデータを収集しているか(オンラインデータ編)Tweet広告を非表示にする関連記事2014-12-29Sparkへの貢献コトハジメ2015年はSparkだ、と勝手に思っています。Entriesはてなブログをはじめよう!rindai87さんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。