トピックtの全単語数。新しい新しいトピックを割り当てていく。2の確率が変化しなくなるまで2と3を十分繰り返す。先に説明した手順の生成モデルで文章が生成されると仮定されたときのトピック分布と単語の分布なのである。文書を表すトピックのベクトル(次元数はトピックの数に等しい)となる。LDAでどう単語の分散表現を作るのか?LDAは、文書(単語の集合)が与えられた時に、その文書が属するトピックを推測するものだった。従って、クラスタリングなんかに用いられることが多いのだが、これを使って単語の分散表現を作ることができる。LDAが文書に対する手法ならば、ある単語の共起表現ベクトル(一緒に使われた回数を格納したベクトル。次元数は単語数)を一つの文書(頻度と同じ数だけ単語が含まれている文章。)と見立て、それに対しLDAを適用すればよい。共起表現ベクトルはそのままだと次元数が巨大過ぎてスパースになりやすいが、LDAを使えば適当な次元(100~500くらい?)に次元縮約することができる。次回記事の実践編では、pythonのライブラリgensimを用いて、この方法によって実際に分散表現を作る。コメントをキャンセルメールアドレスが公開されることはありません。