トピックモデル推薦システムの勉強をちょっとずつ再開している関連で、トピックモデルを勉強してみようと思い、こちらを購入しました。単行本(ソフトカバー)今回はこちらを読んで勉強したことのメモです。なに?定義を確認します。トピックモデルは、文書が生成される過程を、確率を用いてモデル化した確率モデルです。確率を用いることで不確実性を扱うことができ、ノイズを含むデータのなかから本質的な情報を抽出できるようになります。(機械学習プロフェッショナルシリーズ)だそうです。人間が書くと言ってしまえばそこまでですが、これを自動で生成することを考えます。文書には書きたい主題が存在し、単語が含まれ、それらが組み合わさることで一定の意味を形成するはずです。した文書の生成過程を、確率を用いてモデル化したものがトピックモデルということになるかと思います。モデル化でやりたいことまず、話が発散しないように、トピックモデルでやりたいことを確認します。これについては、上の定義より、文書が生成される過程を、確率を用いてモデル化することです。現実の問題設定としては文書集合Wが与えられた状況下で、それらのモデルについて評価をおこないます。大量の文書について文書がどのようなトピックを抽出する文書を人の手を介さず分類するトピックに基づいて内容の近い文書を探索するのようなことを行うことが最終的なゴールとなるかと思います。モデル化することで本来であれば観測できない領域でも、疑似的に観測できるようになるので、内部構造の理解にも役立ちます。ユニグラム/混合ユニグラムモデル文書の生成モデル関連として、最も単純化したものがユニグラムモデルです。ユニグラムモデルでは、ある同一のトピックを表現した文書の集合を考え、各文書はかならず一つのトピックを持つと考えます。このとき、文書に含まれるそれぞれの単語は、同一の確率分布をもとに生成されると考えます。うえの図では単一のトピックKにおける単語の出現頻度Φが与えられ、文書集合Dの中に含まれる全単語Nから単語wが生成されていることを示します。ユニグラムモデルでは、すべての文書においてすべての単語は同じ確率分布から生成されるものとされていました。文書の集合が、異なるトピックから構成されていると考え、各文書は必ず一つのトピックを持つと考えるモデルが混合ユニグラムモデルです。先程の図と異なり、トピックの出現頻度を表すθによって生成された文書のトピックを表すzが単語wの生成に影響を与えています。トピックモデルの生成過程トピックモデルは、ユニグラム、混合ユニグラムと同様文書の生成過程のモデルです。グラフィカルモデルの説明としては、下記が非常にわかりやすかったので参考にさせていただきました。ni66ling.hatenadiary.jpトピックモデルの生成過程のグラフィカルモデルはこんな感じになると思います。混合ユニグラムモデルと違うのは、一つの文書が複数のトピックを持つようにモデリングされている点です。文書は、複数のトピックが重み付けして分布しているとされ、それぞれのトピックにおける単語の確率分布と文書内のトピックの含有率から、文書の単語が生成されているとしています。トピックモデル一巡りここまでは、イメージの話だけだったので、一見しただけだとなんともよくわからないので、基本的なところを一通り眺めてみることにします。なに?トピックという単語を調べるとこんな感じです。