Udemyを使用して、ベイズ統計について勉強中です。今週は、判別モデルと生成モデル、それぞれのモデリング方法での基礎的な学習方法を、回帰と識別それぞれのケースでどのように行うかを書いていきたいと思います。学習により獲得することを目標とします。その計算が難しい場合は、サンプル結果やMAP推定値を返すといったようになります。Model)の2つがあります。判別モデルでは直接推論を行うことができるので簡易でありまた計算コストも抑えることができます。生成モデルはデータセットをサンプリングでき、また推論時にwの事前分布を使用できるため、ノイズの多いデータでは判別モデルより頑健性の高い結果を得ることができます。それぞれのモデルで、回帰と分類で行われるモデリングの例を見ていきましょう。判別モデルではと表現することができます。なることからわかるように、線形回帰モデルとしてxとwの関係が表現されています。正規分布であると仮定する必要もありませんし、wとxの関係が線形なものである必要も、分散に影響を与えないようなモデルにする必要もありません。モデル化後は、お好きな推定手法を用いてパラメーターθを推定すればOKです。生成モデルではと表現することができます。見ていただいたように、xとwが反転しているだけで、これも線形回帰モデルとなります。この場合も基本的にモデリング自体はもっと自由に行うことができます。生成モデルが判別モデルと異なるところは、事前分布を仮定してやる必要がある点です。正規分布として仮定しており、必要に応じてパラメーターを学習する必要があります。判別モデルでは、と表現することができます。この場合、Pr(w)をベルヌーイ分布で仮定し、wとxの関係をシグモイド関数で表現していることから、ロジスティック回帰となります。分布や関係式は自由に設定することができます。生成モデルでは大きく異なり、と表現されます。これは、wの値ごとにxの分布が変化することを確率密度関数として表しています。ベルヌーイ分布で表現し、このパラメーターも必要に応じて学習する必要があります。生成モデルによる分類は、確率密度関数の推定という形で行われます。wの値ごとの確率変数xの確率密度関数を定義します。この時最尤推定を行うことにより、推定値をと求めることができます。カテゴリがwである観測データの集合であるとします。二値分類でいうと、w=0の場合のパラメーターとw=1の場合のパラメーターはそれぞれのカテゴリに分類される観測データxから別々に推定されることになります。ベイズルールで求め利用します。値も学習データを利用して、何かしらの方法(例えば頻度とか)で決めておく必要がありますが、以降でもあまり話題には上がりませんので「何か決まってるんだなー」くらいに思っておいてください。以上で生成モデルによる分類を行う基本的な方法を説明しましたが、尤度が正規分布で表現されるため、この場合認識精度はそこまでよくはなりません。精度を上げるには一般的に尤度に複雑な分布を利用する必要がありますが、その場合、通常の方法では推定値を求めることができません。そこで利用するのが、隠れ変数とEMアルゴリズムです。隠れ変数の考え方は非常にシンプルです。尤度関数をdhと隠れ変数hをおいて定義します。この時最尤推定を行うことにより、以下のように推定値を求めます。このように隠れ変数を設定すると、単純なモデルを利用してモデルの表現力を上げることができます。以下で説明する正規混合分布では、h=1の時の分布、h=2の時の分布といったように複数の正規分布を利用し、それを足し合わせることにより複雑な分布を表現することができています。上記のような積分の入った式では解析的に簡単にパラメーターの推定を行うことができません。そこで利用されるのがEMアルゴリズムと呼ばれる手法です。Bound)の考え方を利用して、パラメーターを段階的に更新していきます。この手法で一番重要な式は、下記の下界の定義式です。KLダイバージェンスと呼ばれるもので、確率分布の非類似度を表す情報量の一つです。パラメーターθを交互に求めます。Mステップでは、のようにパラメーターの推定値を求めます。この計算を繰り返し、パラメーターをより元の尤度関数を最大化するパラメーターに近づけていきます。この手順は、Eステップで下界の関数を更新し、Mステップでその関数を最大にするパラメーターを求めていることに相当します。混合正規分布を例に、EMアルゴリズムの手順を見ていきましょう。混合正規分布は、複数の正規分布の和で確率分布を表現するものとなります。求める確率分布はと定義できます。合計すると1になる値です。この時、と定義することができる。Eステップは、となる。どの分布で負担するかを表すような値になっています。Mステップでは、この負担率を用いて以下のように更新する。負担率の合計値が、平均や分散は負担率を重みとして利用した値が使われており、直感的にも妥当そうな更新式になっています。以上で混合正規分布を用いたEMアルゴリズムの推定の方法となります。EMアルゴリズムは他にも様々な分布に適用することができます。7.7章をご確認ください。次に、判別モデルによる回帰の方法を説明していきます。この式に対して下記のような最尤推定を行うことを考えます。この式を解くと、推定値は解析的に求めることができ下記のようになります。以上が判別モデルでの線形回帰の例となります。この単純なモデルで単純な推定を行うと問題があります。一つは、学習データ点のない部分についても過剰に推定の信頼性がたかくなってしまうover-confident、さらに線形関数にしか適用できない点、さらに過学習や高次元な観測値の場合パラメーターの次元が大きくなりすぎる点が挙げられます。対しては、ベイズ推定を用いることで、非線形化は関数の非線形化およびカーネルトリック、過学習やパラメーターの次元の削減にはスパース回帰を用いることで改善できます。高度な手法でモデリングすることができます。それぞれを簡単に見ていきましょう。ベイズ推定による線形回帰です。これは何も難しいことはありません。ベイズ推定により観測データが与えられた時のパラメーターの確率分布を推定すればよいのです。解析的に求めることができます。与えられた際に、も解析的に求めることができます。このように推定を行うと、学習データに近い部分のxとwの組み合わせの信頼性は高く、そうでない点については信頼性があまり高くない分布を得ることができます。ついては別途推定をする必要があります。用いて、説明を行っています。次に非線形関数の例です。とおいてパラメーターを推定します。関数fにはRBFやarctanなどが用いられます。いずれにおいても、最尤推定もベイズ推定も線形回帰と同様に行うことができます。新たな観測値xに対してwを計算すると逆行列等の行列計算が非常に大変になります。そこでカーネルトリックを用いてzの内積計算を簡単になるような関数fを用います。RBFカーネルなどが有名なカーネル化関数となります。正規分布をステューデントのt-分布を用いることにより、パラメーターが各軸が独立になるように学習させます。具体的には下記のように定義します。この分布を用いると単純に解析的に推定を行うことができません。次元を削減するには双対モデルを解く方法もあります。とおくことでパラメーターを推定する方法です。このモデルの面白いところは、元の式で推定した場合と同じ結果を得ることができるところです。次元は学習データの数に依存します。双対モデルを用いることにより、求めるパラメーターの次元数を削減することができます。このように、様々なテクニックを用いることにより判別モデルの回帰を行い、分布を求めることができます。使う以外は、回帰モデルと似たような工夫を行い、様々な分類モデルを表現することができます。違いは、このモデルでは解析的に解を求めることができず、ニュートン法などを用いて最適なパラメーターを推定する必要がある点です。最尤推定でもベイズ推定でもそれは変わりません。多クラス問題への拡張を考える必要もあります。多クラス問題への拡張は、モデルをカテゴリカル分布と仮定し、そのパラメーターの値をソフトマックス関数により定義することにより表現します。(2)〜機械読解質問応答システム〜月別アーカイブはてなブログをはじめよう!KSKSKSKS2さんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。