自由な変数にとって、とできる。ここでクロネッカーのデルタを考えて確率の対数を考えると、となる。ここで、とすれば、となっており、これは指数型分布族だ。最尤推定の例さて、ここでもまた最尤推定をしてみよう。計算すると、となっている。経験分布(の点0での値がないもの)となっている。はだったから、少しの計算で、と求められる。これは、と比較すれば、経験分布そのものを推定していることがわかる。このことは経験分布が重要な分布であることの一つの証拠となっている。指数型分布族の例について書きたいと思う。上の確率分布全体のなす集合とする。次元ベクトルとみなせるので、と書くとする。がと書けるものだった。正規分布は指数型分布族か?まずは正規分布からなるモデルを考える。して、とすれば、を用いて、と表せるので、指数型分布族となっている。最尤推定の例さて、ここで最尤推定をしてみよう。計算すると、となっている。データの2乗の算術平均となっている。はだったから、少しの計算で、が得られる。これをと見比べれば、納得できるものだろう。明日は、有限集合上の分布全体について書きたいと思う。上の確率分布全体のなす集合とする。常に下のように書くことができるもの*2。実数値関数なのに注意。その定義から、と書ける。自然パラメータとよばれる。したがって出てくるとしよう。得られる確率はとなっているから、モデルが指数型分布族だった場合、となっていて、これ自身なんらかの指数型分布族の元となっている。統計量だと言うことが分かる。割った、も十分統計量だ。はとルジャンドル変換の形で書けることが知られている。指数型分布族になっているモデル例これまでいろいろ書いてきたが、「こんな人工的に見えるモデル使えるのか?」と言う疑問が当然でてくると思う。じつは、指数型分布族になっているモデルは手近なところにいろいろある*3。有限の離散集合上の分布全体なんてのも指数型分布族になる。このあたりのことは、日を改めて書きたいと思う。番目のパラメータだと言うことを表す上付きの添字。*2:指数型分布族の名前のとおり指数関数を使って書き下してもよかったけれど、文字が小さくなるので、こっちの表記にした。*3:指数型分布族になっていないモデルもたくさんある。混合正規分布からなるモデル(EMアルゴリズムでよく使われる)は指数型分布族ではない。難しいときにまずやろう今回は最尤推定について話をする。この推定は与えられたモデルが複雑だった場合に有効な(というか唯一使える)推定方法。以下に理論的な話を書いていくけれども、ひょっとしたら、昨日の推定量の話は(最尤推定だけを語る上では)必要なかったのかも。上の確率分布全体のなす集合とする。もっともらしさ統計理論ではもっともらしさを表す関数があり、それを尤度関数とよぶ。尤度関数を見てもらおう。別に冗談を言っているわけじゃない。ここで大事なのは視点だ。関数と見るとき、確かにパラメータつきの確率分布関数だ。関数と見るとき、尤度関数と呼ばれる。出てきたもっともらしさが統計理論における尤度なのだ。与えられているので、尤度関数はと書かれることが多い。尤度関数の対数をとった対数尤度関数も理論解析には有用で、と書かれる。対して最も尤もらしいパラメータを推定量とするのが最尤推定量だ*1。対して最も尤度の大きなパラメータを推定量とする推定法だ。ここでargmaxは最大値をとる引数を返す関数。対数は単調増加関数*2だから、と見てもかまわない。見てもらうほうが、bocchi-talks-information.hatenablog.comに書いた推定量の定義と一致して分かりやすいかもしれない。統計量との関係は?ところで昨日、最尤推定を説明する為に統計量が必要だ。書いたと思うが、その理由は、最尤推定量が十分統計量の関数になるからだ。統計量とすると、分解定理から、が成り立つ。(QED)つまり、実用的な最尤推定は、「十分統計量をデータから計算してその統計量に対する最尤推定を行えばよい」と言うことが分かる。十分に大きいときに良い推定量であると言うことが知られている*3。「良い推定量とは何なのか?」ということが、やはり気になると思う。フィッシャー情報量だとか、クラメル・ラオ不等式だとかの話を次から2,3回ぐらいかけて書こうと思う。*1:この手法のことを最尤推定とよぶ。*2:引数が大きくなれば、返す値も大きくなる関数*3:この十分にデータ列の量が大きいときに良いという性質を漸近有効性と統計理論ではよぶ。見るの統計量や十分統計量に関するところを荒く紹介*1。実用的な推定量を語るには推定をするのに、おそらく実用上最も使われているだろう推定量は最尤推定と呼ばれる推定量*2。今回、最尤推定を中心トピックとして書こうとしたら、どうしても統計量の説明が必要になった。統計量から最尤推定までを一回で書くのは長すぎるので、今回は統計量と十分統計量について書こうと思う。上の確率分布全体のなす集合とする。ここでデータがどのように出てくるかを考えてみる。したがって出てくるとしよう。得られる確率はとなっている。統計量とは普通データを用いて推定するとき、データそのものを使うことはそんなに多くないと思う。57歳)みたいな表を作っただけで終わることってそんなにないはず。平均年齢は47.89歳のようなデータの数値を用いた計算を行うと思う。この考え方をもう少し抽象的にすると、統計量と呼ばれるものになる。