頻出単語トレンドワードwikipedia使い道・フィードバック今後の展開プロジェクト概要説明GMOアドマーケティングでは広告配信を行う上で、WEBサイトのコンテンツを解析し、コンテンツにマッチさせた広告を配信しています。そこで解析した内容を活用し、さらに「広告訴求したいページ(広告主サイト)を閲覧しているユーザーがどんな内容に興味を持っているのか?」を分析することで、ユーザーの興味を事後的に類推する試みを行いました。最終的なアウトプット上記の概要図内の、以下がアウトプットとなります。広告主サイトコンテンツを読了したユーザー数(ユーザー分子)収集した全WEBサイトにおける接触ユーザー数(ユーザー分母)4.ビジュアライズこのうち、1〜2は既に実施済みでデータが揃っていましたため、今回は3〜4について触れたいと思います。Azure等各クラウドサービスから出ており、比較的ハードル低く文章解析を行えるようになっています。BigQuery)には以下テーブルが存在します。0「広告訴求したいページ(広告主サイト)を閲覧しているユーザーがどんな内容に興味を持っているのか?」を分析したいので、1.広告主サイトを閲覧しているユーザーadvertiser_log.user_idが2.他のサイトでどのような内容に触れているかAnalysis_data.wordを付け合わせ3.単語(キーワード)毎の閲覧ユーザー数を出すことで、より多くの「広告主サイトを閲覧しているユーザー」が外部サイトで興味を持っているキーワードが何かを調べます。今回はあるファッションECサイトの例で分析してみることにします。1を指定し、広告主サイトを読了したユーザーを対象に絞り込みました。この結果で得られるキーワード毎のユーザー数は以下のようになります。どのコンテンツにも登場しそうな、一般的なキーワードが列挙されており特徴を捉えられていません。20908そこで、一般的なキーワードはよく出現しますので、それらをノイズ除去するために「頻出単語」を割り出して、省けるようにします。上記の抽出結果のkeyとimportanceの通り、「単語と単語の特徴量」を把握できています。この特徴量は、各文章毎に文章内におけるその単語の重要性(文章構成上の意味合いの強さ)を表すポイントです。そのためキーワード毎に集計し、「全文章のポイント平均が低いキーワード」=「どの文章内においても重要度(特徴量)が低いキーワード」ということになります。rank;上記のようにキーワード毎の平均ポイントを出すことで、以下の結果を得ます。100など低い値をフィルタしてあげますと頻出単語(ノイズ)が省かれた結果を得ることができます。126,157かなり頻出単語がフィルタされました。今回はファッション関連の商品ページを見ているユーザーの興味ワードを分析していたため、当初の仮説通りファッション関連のワードが浮かび上がってきました。一部のノイズワードが混ざってしまっています。それは「トレンドワード」です。トレンドワードは、特定の広告主のサイトに訪問したことがある人がよく閲覧しやすいわけではなく、全ユーザーの傾向として特定の時期に閲覧回数が増えるため、これが混ざっていると特徴としては捉えにくくなってしまいます。そのため、「トレンドワード」を定義し、それを除外するようにします。テーブルは日毎にテーブルを作成しBigQueryに保存していましたため、この日毎の出現回数の差分を比較し、増加率を求めたいと思います。キーワード毎の増加率を上記の結果にJOINします。増加率の高いワードをフィルタし除いてあげるとトレンドワードを省くことができます。それでも「画像」「彼女」といった曖昧な単語が混ざってしまっております。頻出単語で省ければ良いのですが、他の単語と比較するとそこまで頻出しないということもあり除きにくいワードでした。そこで、wikipediaのデータをうまく活用することにします。wikipediawikiediaには「曖昧さ回避」というカテゴリーが存在します。これは文脈によって内容が異なる単語(曖昧な単語)を判別しやすくするためのラベルづけとしてWwikipediaが設定しているものです。この「曖昧さ回避」ラベルがついている単語はノイズになりやすいので、除外できるようにします。wikipediaのデータをBigQueryで使えるようにする方法については、こちらで紹介しています。MySQLを経由してBigQueryにLoadするkey(単語)を軸にJOINし、フィルタできるようにします。0使い道・フィードバック上記の通り上手くノイズ除去していくとそれなりに意味がありそうなデータがアウトプットできました。インサイトグラフになります。縦軸「キーワード特徴量」はimportance横軸「訪問ユーザー数」はuser_count(広告主サイト訪問ユーザー数)バブルの大きさはarticle_countはキーワードが含まれるコンテンツの総数です。自社サイト(広告主サイト)へ訪問しているユーザーが、他サイトではどんな内容(キーワード)に興味を持っているのか?そのキーワードはよく出てくるワードなのか、ニッチなワードなのか?を調べられるので、キーワード分析からユーザーインサイトを発掘することができ、さらにそのキーワードに対しての重要性も判断できることになります。実際にこちらのレポートを広告主の方にご覧いただいたところ、実際のWEBサイトコンテンツ戦略にかなり当てはまっており、かつ自社では把握できていなかったユーザーインサイトの発掘につながったとのフィードバックでした。Trendsや、Googleキーワードプランナーなどの検索ボリュームのデータと付け合わせ等できると、より分析のしがいがあるなと感じています。requestStockLike4@satoshikiWEBマーケ・広告業界でディレクターやってますFollowGMOアドマーケティング株式会社GMOアドマーケティング株式会社は、アドテクノロジー事業を中心に、メディアと広告主の課題に向き合い、アドテクノロジー事業、メディアセールス事業、メディア事業のノウハウを用いて、求めるべき広告の形を提供します。upLoginユーザーは見つかりませんでした。