このたびNikkeiBPさんと協力でテキストマイニングのビジュアライゼーション作成のための分析を行いましたので、ご紹介します。基本的な手法に最新の手法を加えることで、一段興味深い分析結果を出すことが出来ました。ビジュアライゼーションへのリンクはこちら背景:「ウェアラブル」のトレンドってどう変化してきたの?今回NikkeiBPさんからご相談を受けたのは日経ビッグデータにて毎月一回行われているコーナー、「今月のビジュアライゼーション」向けの分析です。今回頂いたお台は、「ウェアラブル」。Watchの発表もあり、大きく盛り上がっているテーマです。今回日経BPさんの記事を元に、このテーマでどのようなトレンドの変遷があったのか、ビジュアライズしたい、というお代を頂きました。データ:頂いたデータは、日経BPの1999-2014までの全記事から、「ウエアラブル」もしくは「ウェアラブル」という単語を含むすべての記事です。1815記事となっており、近年特に関心の高まっている様子が分かりました。今回頂いたデータはこれだけです。分析:今回は頂いたデータがテキストだけということがあり、少し工夫をする必要がありました。今回利用したのはPythonの言語解析ライブラリ、Gensimです。自然言語処理に必要な基本的な統計処理に始まり、様々な分析手法が実装されています。言語処理に特化しているだけあって、基本的な分析は非常に簡単に行うことが出来ます。各年代ごとにBOWを生成します。articleクラスの中で分かち書きなどを行っていますが、そこでの前処理が終わればあとは一行で出来ました。研究分野を大きく変え始めたWord2Vecというニューラルネットを使った機械学習方法を使うことにしました。この手法は、文章を”読ませる”だけで、各単語の意味を空間の中のベクトルとして表現することが出来るようになります。することで、例えば、この単語ににた単語は何か、とか、複数の単語郡の中にグループを見つけたりすることが簡単にできるようになります。model[/code]とすると、その年代の記事から「ウェアラブル」に関連してどのような言葉が使われていたのかが分かるのです。今回は、データの量が少なかったため、ベクトル空間の次元を比較的少ない50に設定しました。一般的には200から500くらいの値が使われているようです。引数から分かるように、複数スレッドに分けての分散処理にも対応しています。動かすのが簡単な割に非常に示唆に富んだ結果を得ることが出来た!1999年から2004年には「ウェアラブル」と関連度が高い単語として、「コンピューター」、「パソコン」、「ワイヤレス」、等の比較的表層的な技術名があがってきました。いった用途での研究が進んでいたことが分かります。ブレスレット」、「指輪」等の言葉があがってきます。リアルなプロダクトが出てきたことが分かるのです。Word2Vecは未だ研究段階という側面が強く、余り実世界への応用例は多くありませんが、今回の分析では、Word2Vecを使ってトピックのトレンドを読み出すことに成功しました。この手法をより多くのデータで応用することで、今後さらに面白いサービスなども作っていけるのではないかという気がします。最後に白ヤギコーポレーションからお知らせです。白ヤギコーポレーションでは、現在エンジニアを募集中です。データ解析などのテクノロジーを使って、カメリオをはじめとした新しいメディアテクノロジーの開発を行っています。インターンからフルタイムまで幅広いオプションでのプロジェクト参加が可能ですので、興味のある方はぜひ、hr@shiroyagi.co.jpにお問い合わせください!ご精読ありがとうございました。クリエイティブ領域など幅広い分野にて、これまで数百社に及ぶ国内外企業のデータ・AIの利活用を実現してきた。Biasesの日本カントリーマネージャー。その他数社の社外取締役・顧問などを務める。投稿ナビゲーション優れた開発言語がデータサイエンティスト短期間育成のカギとなる起業家に必要なもの検索:上部にキーワードを入力し、リターンキーを押して検索を開始してください。キーをお使いください。%d人のブロガーが「いいね」をつけました。