情報理論関連をぐだぐだとスマートフォン用の表示で見る情報理論関連をぐだぐだと情報理論関係を勉強中の筆者がそれっぽいことを書くブログこの広告は、90日以上更新していないブログに表示しています。推定理論にもどって、不偏推定量について書こうと思う。上の確率分布全体のなす集合とする。したがって出てくるとする。得られる確率はとなっている。i.i.d.)分布とよぶ。導出する関数を推定量と呼ぶのだった。推定量はパラメータに値を持っていれば何でもいいから、ほとんど意味のない推定量もある。ここで、意味のあるとは、「本当のパラメータを推定できる」と言う意味合い。期待値(記号の導入)では、意味のある推定量を導入する為に期待値と言うものを定義する。あるときに、期待値をと定義する。あった場合にと書くこととする。期待値をと書くこととする。不偏推定量では、意味のある推定量(のクラス)を定義する。意味のあるとは、「本当のパラメータを推定できる」という意味合いだったから、を満たす推定量なら、よさそう。当てることができる推定量。このような推定量を(大域)不偏推定量とよぶ*1。見たとこで分かるように、この不偏推定量はかなりきつい制限だ。実際、モデルによっては、不偏推定量が存在しないこともある。不偏推定量の中でも良いものをここでは、不偏推定量があることを前提に話をする。このとき、推定量の誤差がもっとも小さくなるものが良い推定量と言えそう。ここで、誤差として平均二乗誤差ををもってくると、と分散と同じになっていることが分かる。