情報理論関連をぐだぐだとスマートフォン用の表示で見る情報理論関連をぐだぐだと情報理論関係を勉強中の筆者がそれっぽいことを書くブログこの広告は、90日以上更新していないブログに表示しています。難しいときにまずやろう今回は最尤推定について話をする。この推定は与えられたモデルが複雑だった場合に有効な(というか唯一使える)推定方法。以下に理論的な話を書いていくけれども、ひょっとしたら、昨日の推定量の話は(最尤推定だけを語る上では)必要なかったのかも。上の確率分布全体のなす集合とする。もっともらしさ統計理論ではもっともらしさを表す関数があり、それを尤度関数とよぶ。尤度関数を見てもらおう。別に冗談を言っているわけじゃない。ここで大事なのは視点だ。関数と見るとき、確かにパラメータつきの確率分布関数だ。関数と見るとき、尤度関数と呼ばれる。出てきたもっともらしさが統計理論における尤度なのだ。与えられているので、尤度関数はと書かれることが多い。尤度関数の対数をとった対数尤度関数も理論解析には有用で、と書かれる。対して最も尤もらしいパラメータを推定量とするのが最尤推定量だ*1。対して最も尤度の大きなパラメータを推定量とする推定法だ。ここでargmaxは最大値をとる引数を返す関数。対数は単調増加関数*2だから、と見てもかまわない。見てもらうほうが、bocchi-talks-information.hatenablog.comに書いた推定量の定義と一致して分かりやすいかもしれない。統計量との関係は?ところで昨日、最尤推定を説明する為に統計量が必要だ。書いたと思うが、その理由は、最尤推定量が十分統計量の関数になるからだ。統計量とすると、分解定理から、が成り立つ。(QED)つまり、実用的な最尤推定は、「十分統計量をデータから計算してその統計量に対する最尤推定を行えばよい」と言うことが分かる。十分に大きいときに良い推定量であると言うことが知られている*3。「良い推定量とは何なのか?」ということが、やはり気になると思う。フィッシャー情報量だとか、クラメル・ラオ不等式だとかの話を次から2,3回ぐらいかけて書こうと思う。*1:この手法のことを最尤推定とよぶ。*2:引数が大きくなれば、返す値も大きくなる関数*3:この十分にデータ列の量が大きいときに良いという性質を漸近有効性と統計理論ではよぶ。(2)はてなブログをはじめよう!bottikさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。