content合理と非合理のあいだ人工知能・哲学・スタートアップについて綴ります。2016年4月26日モチベーション伝統的に単語をベクトルで表す方法は、ボキャブラリーサイズ(扱う全単語の数)の次元数を持ち、該当インデックスだけ1で他の値が0というone-hotベクトル(1つの概念を1つの成分で表すので局所表現という)が使われていた。基いて、単語を、その単語と同時に使われる単語たちの生起回数でベクトル表現する(これは複数の成分で概念を表現しているので分散表現という)という共起表現が現れたが、この方法でもベクトルの次元が(同じくボキャブラリーサイズなので)大きくなりすぎ、かつスパース(0が多すぎる)になってしまうため問題があった。Learningの流行と相まって近年いろんな手法が生まれた。この記事では、そのやり方の一つ(にも使われる)であるトピックモデル(とLDA)を用いて単語の分散表現を作ることにトライしてみる。今回は、トピックモデルとLDAの基礎理論について紹介する。トピックモデル・LDAとはトピックモデルは、一言で大雑把に言い表わせば文書にトピック(その文書のジャンル・カテゴリ)を教師無しで割り当てる手法である。トピックモデルにおいては、予め指定して置かなければならない変数はトピックの数のみで、それぞれのトピックが何なのか(「政治」とか「スポーツ」とか)は指定したり登録したりする必要が無い。トピックというのは「政治」とか「スポーツ」とかいった人間からみたジャンルではなく、単語の分布として表わされるからだ。nerveを含んでるトピック(脳に関するトピック)を表す。左に出ているのがすべてのトピックなら、トピック数は4で、この文書は4次元のベクトルで表される。Allocation)とは、トピックモデルに用いられる代表的な確率モデルで、LDAそのものは文書生成モデルである。基本構造:もう少し詳しくLDAそのものは文書生成モデルである。与えられた文書がLDAによって生成されると仮定したときのその文書の生成確率を計算したいために、生成モデルを考える必要がある。T4=foodに従って、先の手順で選んだ各トピックに基いて文書内の単語を決める。C4=eatingDirichlet分布はベータ分布の多変数版にあたる分布で、適当なパラメータを与えて分布を生成できるので、確率分布の確率分布として扱われる。一般式は次のように与えられる。