Tumblrはじめに機械学習で登場する確率分布について色々な角度から理解したいシリーズです。この記事では、多次元ガウス分布(多変量正規分布)の定義式を確認します。Distribution)の定義を確認します。多次元ガウス分布は、1次元ガウス分布を多次元に拡張(一般化)した分布です。2種類のパラメータによる定義式を確認します。からっぽのしょこ」を参照してください。\boldsymbol{\Sigma}$を用いて、次の式で定義されます。$$または、$\boldsymbol{\Sigma}$の代わりに$\boldsymbol{\Lambda}$を用いて、次の式でも定義されます。$$ここで、$D$は次元数、$\boldsymbol{\mu}$は平均ベクトル、$\boldsymbol{\Sigma}$は分散共分散行列、$\boldsymbol{\Lambda}$は精度行列、$\pi$は円周率です。a^{\frac{1}{2}}$です。\sigma_{d,d}$は$x_d$の分散、$\sigma_{i,j}$は$x_i$と$x_j$の共分散です。j)$は実数、また$\boldsymbol{\Sigma}$は正定値行列を満たす必要があります。精度行列は、分散共分散行列の逆行列で定義されます。$$精度行列も正定値行列を満たします。ガウス分布の対数をとると、それぞれ次の式になります。定義式の関係2つの定義式と1次元の定義式の対応関係を導出します。からっぽのしょこ」を参照してください。分散共分散行列による式と精度行列による式の変換まずは、$\boldsymbol{\Sigma}$を用いた定義式と$\boldsymbol{\Lambda}$を用いた定義式の関係を考えます。\frac{\sqrt{x}}{\sqrt{y}}$より、変形します。\boldsymbol{\Lambda}$を代入します。\frac{1}{x}$より、変形します。$$$\boldsymbol{\Lambda}$を用いた定義式(2)が得られました。次は、1次元の場合の定義式を考えます。\boldsymbol{\Sigma}$はそれぞれスカラになります。\frac{1}{x}$になります。$\boldsymbol{\Lambda}$を用いる場合も同様です。$$それぞれ1次元ガウス分布の定義式が得られました。続いて、分散共分散行列が対角行列の場合を考えます。分散共分散行列を対角行列とします。$$対角行列の逆行列は、対角成分の逆数を対角成分とする対角行列になります。\frac{1}{\sigma_d^2}$(精度$\lambda_{d,d}$)を対角成分とする対角行列になります。定義式(1)の各因子を変形していきます。\pi$の積で表せます。$$分散共分散行列の行列式$|\boldsymbol{\Sigma}|$は、対角行列の行列式は対角成分の積になるので、各次元($D$個)の分散の積になります。$$よって、正規化係数の計算は、次のように変形できます。\sqrt{b}$より、$\prod$をルートの外に出せます。続いて、二次形式を計算します。$$行列の積の計算において次元の異なる項は0によって消えるので、各次元の因子の和になります。よって、指数部分は、次のように変形できます。\exp(b)$より、総和$\sum$を指数関数の外に出すと総乗$\prod$になります。各因子の計算を確認できたので、式(1)に式(a,b)を代入します。$$各次元($D$個)の1次元ガウス分布の積になるのが分かりました。ここまでで、ガウス分布の定義式を確認しました。定義より次になります。詳しくはいつか書きます。からっぽのしょこ」を参照してください。$$期待値と最頻値は一致します。www.anarchive-beta.comwww.anarchive-beta.comwww.anarchive-beta.comwww.anarchive-beta.comwww.anarchive-beta.comwww.anarchive-beta.comwww.anarchive-beta.comwww.anarchive-beta.com分布を操作します。www.anarchive-beta.comwww.anarchive-beta.comwww.anarchive-beta.comグラフを作成します。www.anarchive-beta.comwww.anarchive-beta.com乱数を生成します。www.anarchive-beta.comwww.anarchive-beta.comベイズ推論を導出します。www.anarchive-beta.comwww.anarchive-beta.comwww.anarchive-beta.comベイズ推論を実装します。ベイズ推論による機械学習入門』(機械学習スタートアップシリーズ)杉山将監修,講談社,2017年.おわりにメモ程度の内容になるかなと思いながら書き始めましたが、意外と充実したような気がします。その結果、一部の内容が別の記事として独立しました。『パターン認識と機械学習』の独学時のまとめです。『パターン認識と機械学習』の独学時のまとめです。00:04何かおかしな内容があれば、ご指摘いただけるととても嬉しいです。【R】円周の作図5.3:正射影ベクトルの導出【『スタンフォード線形代数入門』のノート】スポンサーリンクはてなブログをはじめよう!anemptyarchiveさんは、はてなブログを使っています。ブログを報告する引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。