Tumblrはじめに『パターン認識と機械学習』の独学時のまとめです。一連の記事は「数式の行間埋め」または「R・Pythonでのスクラッチ実装」からアルゴリズムの理解を補助することを目的としています。本とあわせて読んでください。機械学習で登場する確率分布について色々な角度から理解したいシリーズです。この記事では、分散共分散行列と固有値・固有ベクトルの関係を確認します。Matrix)と固有値(Eigenvalue)・固有ベクトル(Eigenvector)の関係を導出します。固有ベクトルまずは、分散共分散行列の固有値と固有ベクトルを確認します。固有値・固有ベクトルの求め方などについては扱いません。D$の正定値行列で定義されます。x_j$の共分散です。分散共分散行列$\boldsymbol{\Sigma}$は正定値行列なので、固有ベクトルの方程式が成り立ちます。$$$\lambda_i$を固有値、$\mathbf{u}_i$を固有ベクトルと言い、$\mathbf{u}_i$は$D$次元ベクトルです。D$の行列を$\mathbf{U}$で表します。$$$\mathbf{U}$の$i$行目が$\mathbf{u}_i^{\top}$に対応します。$\mathbf{U}$の転置行列は、$\mathbf{u}_i$を列とする(列方向に並べた)行列です。$$$\mathbf{U}^{\top}$の$i$列目が$\mathbf{u}_i$に対応します。次は、固有ベクトルの性質を導出します。\mathbf{u}_j$の内積は、0か1の値をとります。j$の)固有ベクトルの内積は1になります。1\}$の2値をとるので単位行列の成分$I_{i,j}$で表します。j$のとき0になります。j$の)固有ベクトルは直交します(直角に交わります)。\mathbf{U}^{\top}$の行列の積は、単位行列$\mathbf{I}$になります。j$のとき)0になります。この計算を、$\mathbf{u}_i$を並べた表現の行列でも行ってみます。$$こちらも、各成分が式(2.46)に対応しているのが分かります。\mathbf{I}^{\top}$です。\mathbf{U}$を転置しても単位行列になります。\mathbf{B}^{\top}$を使って変形しました。$\mathbf{U}$と$\mathbf{U}^{\top}$の積は掛ける順番に関わらず単位行列になります。$$このような行列を直交行列と言います。2つ目の等式の両辺に右から$\mathbf{U}$の逆行列を掛けます。\mathbf{I}$により変形しました。直交行列は転置行列と逆行列が等しくなります。\mathbf{I}$の計算を確認します。I_{k,l}$になる理由を知りたいけど分からなかった。)この計算も$\mathbf{u}_i$を並べた行列のまま計算してみます。$$となるので、これを代入します。$$式展開の途中に出てきた次の関係を次節で使います。$$分散共分散行列と固有値・固有ベクトル固有ベクトルの性質を確認できたので、分散共分散行列と固有値・固有ベクトルの関係を導出します。固有ベクトルの方程式(2.45)を考えます。$$両辺に、右から$\mathbf{u}_i^{\top}$を掛けます。$$(見やすいように両辺を入れ替えて、)両辺で$i$について1から$D$まで和をとります。$$$\boldsymbol{\Sigma}$は$i$と無関係なので、$\sum_i$の外に出せます。先ほど確認した式(1)より、右辺は$\boldsymbol{\Sigma}$になります。$$よって、(両辺を再度入れ替えると)次の式が成り立ちます。$$固有値と固有ベクトルの積の和によって、分散共分散行列を表せました。式(2.48)の右辺を展開して、行列の積に分解します。$$$D$個の固有値$\lambda_i$を対角成分とする対角行列を$\boldsymbol{\Lambda}$とおきました(精度行列ではありません)。$$固有値による行列と固有ベクトルによる行列の積によって、分散共分散行列を表せました。一度、固有ベクトルの方程式を考えます。$$両辺に、左から$\boldsymbol{\Sigma}$の逆行列と$\lambda_i$の逆数を掛けて、左辺の$\boldsymbol{\Sigma}$と右辺の$\lambda_i$を打ち消します。$$さらに、右から$\mathbf{u}_i^{\top}$を掛けます。$$両辺で$i$について1から$D$まで和をとると、式(1)より右辺は$\boldsymbol{\Sigma}$の逆行列になります。$$よって、(両辺を入れ替えると)次の式が成り立ちます。$$分散共分散行列の逆行列も、固有値と固有ベクトルで表せました。式(2.49)の右辺を展開して、行列の積に分解します。$$$D$個の固有値の逆数$\frac{1}{\lambda_i}$を対角成分とする対角行列は、$\boldsymbol{\Lambda}$の逆行列です。$$対角行列の逆行列は、対角成分の逆数を対角成分とする対角行列になります。固有値(の逆数)による行列と固有ベクトルによる行列の積によって、分散共分散行列の逆行列を表せました。この記事では、分散共分散行列と固有値・固有ベクトルの関係を導出しました。次は、固有ベクトルによるガウス分布の回転を導出します。上』,丸善出版,2012年.おわりに愚直に成分を書き出したら特別なことはしてないし難しくないよね。嘘です、2・3日かかりました。『パターン認識と機械学習』の独学時のまとめです。『パターン認識と機械学習』の独学時のまとめです。00:04何かおかしな内容があれば、ご指摘いただけるととても嬉しいです。【R】円周の作図5.3:正射影ベクトルの導出【『スタンフォード線形代数入門』のノート】スポンサーリンクはてなブログをはじめよう!anemptyarchiveさんは、はてなブログを使っています。ブログを報告する引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。