コトバンクもうちょっと書くと、文書の内容について表した集合とでもいえばいいでしょうか。これだけわかっていれば十分なのですが、注意する点としてはトピックモデルの文脈において、トピックは文書から機械的に抽出されたものであり、トピックの名前が明確に表現できるとは限らない点です。簡易的に、トピックが「スポーツ」「政治」として話が進められたりしますが、実際には言葉でトピックを表現できないケースもあります。具体的な中身についてトピックが何かについてスーパーざっくり説明したところで、ちょっとずつ具体的に見ていきます。実際には何を定めればよいかここで、トピックモデルにおけるデータ生成過程のグラフィカルモデルを確認します。このモデルにおけるパラメータを尤もらしく定めることが、トピックモデルを構築する上で必要なことになります。上のグラフィカルモデルを見ると、文書の生成モデルではトピックごとの単語分布を求める必要があるのがわかります。求める必要があり、これを実現する基本的な方法は最尤推定でしょう。(語彙vの出現回数)の割合が最尤推定値になり、単純によく出現する単語がよく現れる確率分布になっています。Map推定(最大事後確率推定)上の単純な最尤推定では、データ数が少ないときには少ない試行回数にか過学習してしまいます。(Map推定)が用いられます。文書データWを観測する事前確率と事後確率を考え、ベイズの定理等を使ってガチャガチャいじって(適当)、事後確率が最大になるパラメータを見つける問題に変形します。大きくなるため最尤推定値に近似される分布が得られます。ベイズ推定これは正直良くわかりませんでした。ベイズ推定自体は他の方の記事も参考にしていただければと思います。推定していくらしいです。ユニグラムモデルの事後分布は、となります。これを使うと、推定のばらつきを考慮した予測が可能になります。これにより、Map推定などでは考慮されなかった、試行回数による信頼度を考慮することができるようになります。混合ユニグラムモデルやトピックモデルでは、ユニグラムモデルとは異なり、解析的モデルを推定することが困難です。そのため、拡張した別のアプローチで推定を行っていく必要があるそうです。本書で紹介されていたものについて、下記のようになります。積分消去この辺は、混合モデルを推定するためのテクニックですかね。わからなかったので、なんとなく雰囲気掴めそうな記事を備忘録としてまとめときます。EMアルゴリズム最尤推定法を混合モデルに適用する際に、EMアルゴリズムを使用することができます。qiita.com説明が難しいので内容は本読んでください。(EMアルゴリズムはこれだけであとでちゃんと勉強したいです)変分ベイズ推定ベイズ推定を混合モデルに適用させるときに、変分ベイズ推定を使うことができるようです。Ozakiqiita.comギブスサンプリングこちらもベイズ推定を適用するときの手法の一つです。今回はちょっとやりたいことがって、それにトピックモデルが使えそうという話を聞いたので、トピックモデルを勉強してみました。理屈としては、わかったようなわからないような・・・という感じで、もう最後の方は式は追えましたがいまいちピンとこなかったので、数式を深く読み解けてるかと言われると結構怪しいです。実践しながら腹落ちさせていきたいと思います。実装が全然できてないので、それができたらまた理屈を復習したいと思います。ニュースコーパスで遊ぶこの前は全然分からないなりに、トピックモデルの雰囲気だけ勉...2020-02-02EMアルゴリズムについてのメモ最近この辺りの本を読んでいるんですが、その中にEMアルゴリズ...2020-01-26最尤推定/MAP推定/ベイズ推定についてのメモ最近はこの辺の本を読んだりして機械学習の勉強してます。トピ...2020-01-12尤度についてのメモ最近こちらの本を読んでいて、尤度という言葉が出てきました。...2019-09-22推薦システム入門(その1:古典的手法)最近こちらの本を購入しました。(1)月別アーカイブはてなブログをはじめよう!nogawanogawaさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。