表現することにして、と書くことにします。表せることになります。確率的に振る舞うことになりと表せます。影響を受けるという意味です。確率分布を明示的に書けばと表せます。確率的にモデル化することができました。手元にあるとしましょう。ここでこのようなデータが得られた背景には以下のようなデータの生起が起こっているはずでこれは現実に起こったことであるので、それ相応に確率は高いであろうと考えられます。データが1つでは怪しいです。珍しいデータが得られた可能性もあります。そこで、データをN個かき集めてきたとしましょう。番目のデータはという生起の過程をたどっており、これら全てのデータが得られる確率はとなっています。個々のデータは互いに独立であるとすれば上記のように個々のデータの生起の積で確率を表すことができます。決定するのが最尤推定法です。表し、などと表記します。対数尤度パラメータを決定するためには、尤度を最大化しなければなりません。なる点で極値を取るはずです。極値を探したいのですが、尤度は積の形で微分が難しいです。ここで通常は尤度の対数を取って、積を和に変換します。これを最大化しましょう。使っているだけです)ガウス分布の式を代入して、以下のように表します。性質を使ってΣの中身をと書き換えられます。微分しようとしているので無視できます)。第二項は指数を取って対数を取るという演算が施されているので、この部分は打ち消され、結局のところだけがΣの中身として残ります。して外に出してしまいましょう。最終的に対数尤度は以下のような形で表されます。対数尤度を最大化するというのはどういうことでしょうか。関する最大値を求めることは定数項や定数倍を無視してを最大化することです。負符号を付けてを最小化するという問題に書き換えられます。これはよくみる単なる最小二乗法です。直線フィッティングに、当たり前のように使っていた最小二乗法とは、ガウスノイズが生じているという線形回帰モデルに相当していたのです。ノイズがガウスノイズでないのならば、最小二乗法はなにかおかしなことをやっていることになります。確率的なモデルで考えると、実はモデルの詳細を検討できて便利です。最小二乗法はどんなときに使えるか実は最小二乗法は多くの場合ある程度妥当な選択となります。ノイズの正体は何か分かりませんが、ともかくデータを揺るがすものです。このノイズを細分化して考えた場合、つまりというように、ノイズが複数のファクターに由来しているとしましょう。(例えば大雑把に計測機器の誤差、計算機による誤差、写し間違いによる誤差と言った具合です。分布がどんなものであるかはわからないにしても、「確率変数の和」という確率変数はガウス分布に近くなることが知られています(和の数が増えれば増えるほど)。分布は本当になんでもいいのです。それぞれ別々で任意の確率分布であったとしても、和を取っていくとガウス分布に近づきます。これを中心極限定理と言い、確率統計における非常に強力な定理となっています。ガウス分布というものが如何に特別であるかは、実は中心極限定理に支えられているのです。やけにガウス分布をノイズに仕立て上げることが多いのには、このような理由があったわけです。和の数が少ない(つまりノイズのファクターが少ない)ならば、そのファクターの分布を調べたほうが正確でしょう。現実では、無限に多くのファクターが合わさっているとは考えられない場合も多く、ある1つのファクターが支配的にノイズを発生している可能性があるのも注意しましょう。»プロフィール自分が勉強していく上で学んだことなどをまとめていきたいと思います。ML_deepスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。