確率となり一致します。発生)と考えることができます。従ってデータの生成モデルはと表すことができます。明示的に組み込めたことになります。」なる確率変数を導入します。なる確率を表しています。負担率は要するにデータが実際に得られた時に、そのデータがどのガウス分布から生起したのかを確率(事後確率)で教えてくれるということです。ガウス分布の平均と分散になります。通常このような確率的なモデルは、最尤推定によってパラメータを求めます。データが手元にあるわけですから、そのようなデータが生起するような確率(尤度)が最大になるようにパラメータを決めるというわけです。混合ガウス分布の最尤推定は解析的には綺麗に得られません(だいたいディープが流行っている今や殆どのモデルは解析的には求まらん)。1.解決の方法としては、最適化手法としては勾配法(ニューラルネット御用達)やEMアルゴリズム(観測できない変数がある場合の一般的解法)があります。2.他の方針として解析的には求まらない部分を近似する変分ベイズ法(平均場近似など物理学に基づく近似法)などがあります。3.また、解析的には求まらない部分は大抵期待値の形をしているため、期待値を単純に標本平均とみなして、コンピュータで何個かデータを擬似的に発生させるサンプリング法(MCMC法など)による近似もあります。クラスタリングの結果を見ます。・左が「5個」のガウス分布から発生させたデータ・真ん中がどのガウス分布から発生したかを色分けしたもの・右が「10個」のガウス分布からなる混合ガウス分布を仮定してクラスタリングを行った結果となります。色が対応していないのは、10個のガウス分布を用いた際に、何番目のガウス分布のパラメータを配列の何番目に置くかはランダムだからです(matplotlib.scatterのカラーを配列の番号で指定している。クラスターの数を多めに見積もっておいて良いまずポイントとして、クラスターの数を多めに見積もってしまっても構いません。少なく見積もるとそれ以上のクラスターに分けられなくなるので可能性が狭まります。従って、事後分布でクラスターを推定する場合に、不要なガウス分布から生成された確率はかなり小さくなり、選ばれなくなります。データの生成確率を記述していたものであり、生成モデルからすれば、そもそもこの分布からはほとんどデータが出てきませんよ、と言っていることになります。学習にはギブスサンプリングを用いた近似を利用しています。生成したデータは共分散行列が対角行列になっています。データは2次元で、分布の個数は5個です。全部で500点生成しています。仮定したクラスタ(ガウス分布)の個数は10個です。推定された10個のクラスタの平均は以下であり、準備したガウス分布を捉えていると考えらます(model.qpi.eval()の値を見れば分布が選ばれる確率も見られる)。0.02282866]他のパラメータを持つ分布は明らかに生成確率が少なかったので無視された分布ということになるでしょう。適当にクラスターを多めに見積もってしまうというのは、要するにパラメータが無駄に増えることであり、下手したら過学習(仮定したモデルに無理矢理合わせる)の可能性も出るわけですが、ベイズの良いところはこういう部分は自動的に避けられるところにあるのでしょう。最後に感想ディープラーニングで得られたパラメータは大抵よくわからんので、こういう手法はパラメータに対する解釈が楽しいかもしれません。明確に人間の意思を載せてあるパラメータですから(それが物理的にどのような意味があるかは別として)。言っても、やっぱディープラーニングは強いので上手く融合したようなモデルが欲しい。なると深層生成モデルをやるしか無いのか(今のとこ必要性が...。モチベーションが楽しさってのも幸せなのかもしれない)。»プロフィール自分が勉強していく上で学んだことなどをまとめていきたいと思います。ML_deepスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。