獲得手法と表現されることが多いように、単語が何の意味を持っているのかをベクトルで表したい、ということがモチベーションの手法です。二種類がありますが、発想はほとんど同じです。中心の単語から周辺の単語の予測をします。目的関数は以下のようなります。文章中の語彙数を表しています。入れ替わったような形になります。次元ベクトルが、単語の情報をより低次元で表現できるベクトル(これを単語の分散表現と呼びます)になっていると解釈できます。現在はそれにいろいろな改良やアイディアが付け加えられています。計算してしまおうというネガティブサンプリングという手法もそのひとつです。これにより最適化における大幅な速度向上を達成しました。用いるのが良いと思います。GPU環境でなければ。環境でも十分実用的な時間に計算できるという点はとても魅力です。実際に計算をやってみます。使うときもこんなのりで出来るんだーという感じで見てもらえれば。単語のベクトルが得られるので、内積を取ることでその近さを知ることが可能です。よってある単語に最も近い単語、最も遠い単語を計算できます。今回は単語ではなく本の名前なので、ある本と似た本、全く似ていない本を計算出来ることになります。ここでようやくタイトルの「吾輩は猫である」が出てきます。吾輩は猫であるも色々とバージョンがある(ハードカバーとか文庫版とか)ので、まずは最も読まれていた新潮文庫版で試します。吾輩は猫であるとの類似度の計算結果が以下になります。0.08444569259881973)]予想以上に綺麗に分離してくれました。同じ夏目漱石の文庫本が多く並んでいます。森鴎外が入っているのも納得できます。反対の遠い本ではコミックス系が多くなっていて、これも納得できる結果になりました。0.0489741712808609)]こちらも上位がすべて森見登美彦氏で埋まっていますね。同じ作家で固まることがよく起こるというのは、作家によらず、特定の作家の本を読むと同じ作家の本を再び読む、ということが言えるのかもしれません。一度気にいると同じ作家の本ばかり買ってしまう、という感覚が可視化された、ということでしょうか。ここで「ハードカバーの方がコアな客が多いから、同じ作家で固まりやすいのでは(類似度がほぼ1になるとか」と思ったので検証してみます。ハードカバーの四畳半神話大系の類似度は以下のようになりました。0.7144078016281128)]「きつねのはなし」は森見登美彦氏ですが、類似度は先よりも落ちています。二番目の本はしらなかったのでググったのですが大槻ケンヂ氏の本なんですね、知りませんでした。その頃、日本はバンドブームに沸いていた。無名だった若者が、次々とスターになった。ライブ会場は熱狂に満ちた。ブームはいつか終わるものだ。大人たちは、潮が引くように去ってゆく。誰もが時の流れと無縁ではいられないんだ。僕と愛すべきロック野郎たちの、熱くて馬鹿馬鹿しくて切なかった青春を、いま再生する。普通に面白そう......。あでもそう思うってことは、ちがう作家だけどその人が面白いと思いそうな本を拾えてるってことなのかもしれないですね。サンプル僕だけであれですが。文庫版の森見登美彦氏の本も見当たらないのが不思議ですね。これはハードカバーを読む人と、文庫を読む人はそもそも文脈がだいぶ違っていて、あの本はハードカバーだけど今回は文庫までまとう、といった読み方はしないんだなあということが伺えます。0.8112159967422485)]夏目漱石が激減してしまったのが不思議です。かわいそうなのでなんとかチューニングして結果出してあげたい。週間)データサイエンティストをやっています。ベイズとPRMLが好きです。(1)ArchiveSearchはてなブログをはじめよう!detteさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。