modelと呼ばれる確率的潜在変数モデルが、機械学習とデータマイニングの境界分野で盛んに研究されています。Web解析など様々な応用分野でも多くの適用例が報告されています。modelの研究に関する情報を紹介します。機械学習およびデータマイニングでは、主に国際会議で最先端の議論がされているため、主要国際会議を把握しておくことが重要です。modelの研究では、主に以下の国際会議が重要視されています。(UAI)また、最近では以下の国際会議も把握しておく必要があるようです。modelは、もともと文書の確率的生成モデルとして提案されました。(BoW)と呼ばれる単語の順序関係を無視した頻度分布の生成過程をモデル化します。modelを様々な応用分野へ導いたといっても過言ではありません。modelによるモデル化は、このBoW表現をどのように各自の応用分野で適用するかがポイントになります。簡単な応用として購買データへの適用が考えられます。各ユーザーを文書、各ユーザーの購入した商品を単語だと思うことで、各ユーザーの購買データをBoW表現で表すことができます。[1]をチェックするのが良いかと思います。(LDA)に関して抑えておくべき最近の論文を紹介します。modelの最初の論文として位置づける必要があるのは以下の論文です。[3]この論文では、モデリングとしては、ほとんど同じモデルですが前者が理論、後者が応用という位置づけです。Allocationです。modelと言えば、まずこの論文(LDA)が挙げられます。modelの研究では、このLDAに関する「学習アルゴリズムの研究」と「モデルの拡張の研究」の方向があります。LDAの学習アルゴリズムについての情報を紹介します。Bayes)法に基づく学習アルゴリズムが導出されています。変分ベイズ法に関する一般的な情報は以下の博士論文が詳しいです。samplerは、変分ベイズ法に比べて実装が非常に容易なため、他の拡張モデルに対しても容易に適用することができます。modelが広まったと言っても過言ではありません。次に、変分ベイズ法を拡張した手法として、以下の周辺化変分ベイズ法があります。samplerの変分ベイズ版です。周辺化変分ベイズ法は、アルゴリズムの導出の仮定でテイラー展開の2次近似を行っています。実は、この2次近似を0次にした周辺化変分ベイズ法Zeroと呼ばれる手法の性能が良いことが以下で知られています。samplerと同程度に実装が容易な決定性アルゴリズムであるため、state-of-the-artと言えます。この論文では、LDAのDirichlet分布のパラメータに関する分析が実験的に行われています。Dirichlet分布のパラメータは性能に大きく依存するため、LDAを応用する上では必須の知識と言えます。同様にDirichlet分布のパラメータを分析した論文として以下の論文を把握しておく必要があります。[9]この論文では、Samplingに基づく、Dirichlet分布のパラメータ推定手法を提案しています。固定点反復法(決定性アルゴリズム)に基づく手法であれば、以下のテクニカルレポートを読むことが重要です。samplerを用いる場合は、より効率的なsamplerが以下に提案されています。samplerを用いるならばこの手法を採用するのがよいと思います。スライドが公開されているのでスライドを読むとアルゴリズムを理解しやすいと思います。上記の学習アルゴリズムは、データ全体に対して反復するのに対し、逐次的にデータを処理するオンライン学習も提案されています。[17]を読むことが重要です。LDAの並列化手法は、この論文の手法が基本となります。この論文では、並列化することによる近似の評価も行っていると言う点で優れた論文です。[21]なお、上記の論文は2012年3月現在、まだweb上にないため、arXiv版のリンクを張りました。GPUを用いた手法としては以下があります。models-LDAの拡張モデル-応用例やLDAの拡張モデルは非常に多くの研究されているため、ここでは基本的なものを紹介します。Nonparametricsによりトピック数を決定するモデルが提案されています。[24]文書モデリングの拡張としては、トピック間の関係性をモデル化した以下の論文があります。[25]文書に付与されたラベル情報を考慮したものとしては、以下の論文があります。[26]単語の出現頻度の性質として、Power-lawの性質をモデル化した研究としては以下の研究があります。これらの方法は、時間のスケールが1つなのに対して、複数の時間スケールへ拡張したモデルとして以下の研究があります。[30]これまで紹介した論文は、主に文書に関する研究でしたが、画像処理への応用も多く行われています。ここでは、過去の研究のリファレンスとなるような論文を1つ紹介します。modelの包括的なリンク集として以下の正田氏のリンク集がお勧めです。第一線の研究者が多く参加していますが、これから研究を始める研究者からの質問やソフトウェアの使い方、こんなソフト、データはないですか?などの簡単な質問にも丁寧に返事が返ってきたりと、フランクな雰囲気で議論が交わされています。主な研究室をリストアップします。それぞれの研究室で重要な研究者を紹介します。Listがさまざまなリソースへの情報源になっているということです。modelに関係するページやリソースを紹介しました。modelは、モデリングの研究としては幅広く研究されているため、網羅するのは難しく、LDAに関する情報の提供を重視しました。LDAの性質を理解しておくことは、LDAを拡張する上でも非常に重要だと考えられます。modelに関心のある方々の一助になれば幸いです。