基礎の基礎の基礎に関して全体像を俯瞰してみた・ついでに尤度に関して考察してみた内容とモチベーションこの記事は、Waldの決定理論の枠組みで行われる統計的推定の根幹を俯瞰してみた記事です。何のために確率分布を考えるのか、確率分布をどう利用しているのか、統計解析では結局何をやっているのかがなんとなくイメージ出来たので、早速記事にしてみました。ついでに、そのイメージのまま尤度のお気持ちについて考えてみました。・統計的推定の本質は、観測されたデータの分布に確率分布を対応させ、確率分布に含まれるパラメータの値をデータから決定すること。著、『統計モデルと推測』より)・データの背後に確率モデルを想定し、データからモデルの推定や検定を行うことで母集団に関する何らかの結論を導くことを統計的推測という。背後に想定した確率モデルが与えられたデータと矛盾しないか、確率モデルとデータにある程度の乖離がある場合は結論にどの程度の妥当性があるかについて十分な注意が必要。分かっていることはないため、「もし母集団がこの確率分布だったら、このくらいあてになる推定値が得られる」ということを検討する。著、『Rによるやさしい統計学』より)統計解析では、母集団の性質を表す統計モデルとして確率分布を考える。未知の母集団を確率分布で置き換える。母集団はあくまでも未知。この統計モデルのパラメータを実際の観測値(実現象の観測=母集団からのサンプリングと捉える)から推定するのが統計的推定。推定の方法は、パラメータの実現値を求める点推定と、複数回のサンプリングでパラメータが高い確率で収まる値の範囲を推定する区間推定がある。この時、仮定した統計モデルが母集団からサンプリングされた標本の性質を上手く説明出来るように推定を行う。...厳密ではないですが...、このような統計モデルを推定することが統計的推定の目標?これを見ると、確率分布を学ぶ重要性が分かった気になります。パラメータの推定方法には色々あって、最尤推定なんかが有名。d.$かつサンプルサイズが十分に大きく、適当な正則条件の下で理論が展開されている(正則モデルと言うらしい?)ので、この条件を満たさない場合には、推定に大きな誤差が生じる可能性がある(こうした場合の統計的推定に関しては、特異モデルにおける統計理論が役に立つ?)。行っているのはあくまでも仮定した統計モデルの観測値に対する適合であって、母集団と統計モデルがどれだけ整合しているかの評価を別に行う必要がある。\theta)$が最大になる、つまり「尤もらしい」$\theta$の値と言える。著、『統計モデルと推測』より)・尤度関数は観測値が与えられたときに母数の値の”もっともらしさ”を表す関数と解釈することが出来る。)「尤もらしさ」と言われても全然ピンと来なかったのですが、前述の立場に立ってみると、尤度が何を意味しているかについての考察を行うことが出来そうです。\theta)$とします。$\theta$は統計モデルのパラメータです。簡単のため、パラメータが一つの場合を考えています。\theta)$$となります。左辺は、全サンプル$\mathbf{x}$が与えられたときに、パラメータが$\theta$となる確率を表しています。右辺は、仮定した統計モデルにおいてパラメータが$\theta$のとき、サンプル$x_{i}$が生成される確率をすべてのサンプルにわたって掛け合わせたものです(これは全サンプル$\mathbf{x}$が生成される確率)。尤度とは、パラメータ$\theta$において、仮定した統計モデルが観測値にどれだけ適合しているかを表す指標であり、これを$\theta$の関数としてみたものが尤度関数ということになりそうです。パラメータ$\theta$をある値に決めたとき、そのパラメータ値における統計モデルが観測値にフィットしていなかったら右辺の確率は低くなり、そのパラメータを取る確率(尤度=左辺)が低いということになるからです。その$\theta$を観測値から推定する手法の一つが最尤推定ということですね。尤度は、母集団ではなく観測値に対する統計モデルの適合を意味していることが重要そうです。母数の尤もらしさを表すと解釈出来るのは、仮定したモデルが母集団をよく説明出来るというある程度の保証がある場合だと考えられます。簡単な数値実験で確かめてみましょう。平均2.0、分散1.0の正規分布に従うサンプル(観測値)を100個生成し、統計モデルは正規分布を仮定します。ここで母集団についてはいったん忘れてください。14)これを実行すると以下の図が得られます。ここでは、分散は固定して平均のみを動かしています。2.0$としたモデルが最も観測値をよく説明出来ていそうです。各パラメータにおける統計モデルが、観測された100個のデータを生成する確率(尤度)を計算してみます。-181.02580485919881やはり尤度は、観測値に最も適合したモデルで最大となります。注意すべきなのは、このケースでは母平均が既知であり、かつそれと同じ性質を持つ統計モデルを仮定しているという点です。これにより、尤度が最大になるモデルは母集団もよく説明出来る!と錯覚しそうですが、観測値の情報しか使っていないため、母集団は未知であるとしても得られる結論は同じです(強引だが、実際にそうした)。サンプル数が100しかないので正規分布っぽく見えているというケースも想定できます。真の分布はもっと右側にスソの重い分布だけど、標本抽出の都合でたまたま正規分布っぽくなったというようなケースです。この場合、正規分布をモデルとして用いても、どこかで尤度は最大になることが期待されますが、このときのパラメータにおけるモデルが母集団を上手く説明出来ていることにはなりません(そもそも妥当なモデルではない)。実際の分析では母集団は未知なので、仮定した統計モデルと母集団の整合性は別途評価する必要があるのでしょう。統計モデルが母集団からかけ離れたものであるとき、最尤推定値は大きな誤差を含んでいそうなことは想像できます。以上のように、統計的推定はあくまでも仮定した統計モデルに対して行うものであって、母集団にフィットしているかどうかは別問題だと考えられます。このあたりのより正確な、数理的な背景については今後深めていくつもりです。まとめ統計的推定の全体像や前提を意識することで、確率分布が推定に果たす役割がぼんやり理解出来ました。尤度とは何かという疑問を少しだけクリアにすることが出来たと思います。ameameame.qrunch.ioポエムや機械学習・統計の理論と実装について勉強したことを書いていきます。読者になる1アウトプットを勘違いしていた。Qrunch.netサーバー提供フィードバックを送信する。