情報理論関連をぐだぐだとスマートフォン用の表示で見る情報理論関連をぐだぐだと情報理論関係を勉強中の筆者がそれっぽいことを書くブログこの広告は、90日以上更新していないブログに表示しています。単行本この商品を含むブログを見るに出ているだろうと期待して。上の確率分布全体のなす集合とする。最後で書いたとおり、推定問題はデータ列から確率分布(仮説)を推定する問題。元で、であらわすとする。番目のデータをあらわす。推定する規則や写像を求める」という問題と読み直せる。なにやらデータの取りうる範囲を区切って、得られたデータをその区切りの中に何個入るか分けて数えて表にするあれ。単純な分布としては、まずまず納得のいくものだと思える。経験分布しかし、問題点もすぐに考え付く。それは「範囲を区切って」というけれど、その範囲(幅や広さ)はどう決めればいいの?と言うところが、作る人任せになるということだ。そこで、究極の度数分布を考えてみよう。それは、範囲を極端に小さく、どの範囲にも1つの値しか入らないとしたものだ。離散的である場合は、満足のいくものになる*2。経験分布は次のように書ける。何個あるかを数え上げる関数。経験分布や度数分布でよいのか?さて、これで十分良い分布が得られた。