Tweetこんにちは。研究チームに所属しており、論文調査やそのアルゴリズムを実行するスクリプトの実装などを行なっています。Modelの紹介と再現実装をpythonで行なったので、その紹介をします。Robertsにより提案された手法です(論文)。Awardを受賞しています。この手法の特徴には、以下があります。考慮できるトピックの相関関係を見ることができる推定結果がロバストであるこれは、STMが元にしている手法の性質をそのまま継承しています。STMは、主に以下の手法をベースとしています。Model(SAGE)順を追って説明します。Bleiによって提案されています(論文)。(機械学習プロフェッショナルシリーズ)でも取り上げられています。アルゴリズムについてはこれらを参照してください。このモデルは、トピックに関する分布の事前分布をディリクレ分布ではなく、正規分布とし、正規分布からサンプリングされた値に対してsoftmax関数を適用することによって、トピックに関する分布を多項分布とします。正規分布を推定することになるので、相関を求めることができます。グラフィカルモデルは以下のようになります。MODELより引用また、アルゴリズムは以下です。トピックのindexです。Model(SAGE)SAGEは、文書の属性情報ごとに単語分布を切り替えることを可能にした手法です(論文)。概念図は以下の通りです。分け、各データ固有の成分は、平均0の正規分布から生成していると考えます。式で書くと以下の通りです。単語種類のindexです。この平均0の正規分布の分散の事前分布をラプラス分布にすることによって、メタデータによって切り替える成分をスパース推定します。スパース推定することによって、トピックや各属性情報の成分を少量の単語によって変化させるように誘発できるため、ロバストさが生まれます。アルゴリズムは以下の通りです。言う点についてはCTMとSAGEの特徴でした。STMで提案されているアルゴリズムには加えて以下の特徴があります。文書-トピック分布の推定に対して文書属性情報を考慮できる(SAGEでは単語-トピックの分布のみ)文書-トピック分布の推定を積分消去により高速化この2点を[2]に沿って見ていきたいと思います。使われ方についても、合わせてご紹介します。文書ートピックの分布の推定に対し文書属性情報を考慮できるSTMのグラフィカルモデルは以下の通りです。記号は、基本的にこの図に準拠していきます。記載されたデータが観測された状態で記述されており、文書の属性情報が考慮できることがわかります(黒塗りは観測されていることを表す)。独立変数とし、各文書でのトピックの正規分布での値を説明変数として回帰することによって、推定値を求めた後、次のステップでその推定値を用いて各文書におけるトピック割合を求めていきます。それでは、式展開を見ていきます。STMでは変分推論を用いて推定を行なっています。[2]の式(6)より、ELBOが導出されます。