2019/02/12SHAREツイートシェアはてブGoogle+PocketLINEツイートシェアはてブPocketLINEこんにちは、きちえです。今回は真面目にいつものプログラミング実装記事ではなく、理論系のお話です。(事後の不確実さ)と定義されています。最近ニュースなものを取り上げると、TOKIOの山口達也メンバーです。一般人がJKにキスしてもそこまで大きくはならないが、山口達也メンバーがしたらここまで大きくなる理由をこの情報利得という概念から考えてみましょう。非常に驚く情報になるということ。1000\)無限大にと1000を比べると前者が以上に大きいため、山口達也メンバーがキスをすると聞いて非常に驚く情報になるので、非常に大きなニュースになってしまう。今まで無限大という量が出てきましたが、はっきりとした数値ではないため、非常に扱いにくいです。ここで登場するのが、シャノン(Shannon)が確率統計の数学的な手法を用いて、情報量という概念を提案しました。∝という記号は比例の意味を表しますので、つまり、情報量は「I(a)」は生起確率「p(a)」に反比例します。これは情報量が驚きの量と考えれば当たり前のことで、当たる確率の低い「p(a)が小さい」ことが起きれば驚くし、当たりやすい「p(a)が大きい」ことが起きればあまり驚かないというわけです。\begin{cases}p(a)が小→I(a)が大(驚き大)\\p(a)が大→I(a)が小(驚き小)\end{cases}\)しかしこのままでは扱いずらい上記のように定義ができましたが、このままでは数学的にも直感的にの取り扱いが不便です。起きる事象が起きた時の驚きはないですから\(I(a)=0\)となるのが自然ですし、あまり起きない事象が起きた時の驚きは無限大に近くなってしまいます。範囲が、[0から∞]なのです。このように対数で定義したI(a)を事象aの自己情報量と呼びます。対数の底は、今回のような情報理論では通常は2を用います。情報量の単位はビット(bit)を用います。(約1.5%)だとしましょう。このチケットの当選ないしは不当選の事象の持つ自己情報量を求めてみます。2^6=-5.977+6=0.0227\mathrm{[bit]}\)となります。この場合当選確率が低いので当選しないと、0.0227ビットの情報量しかないのに対し、当選すれば6ビットもの情報になるのです。nativeのメリットデメリットをまとめてみた。昔から僕にとってインターネットは様々なことを見つけたり、学んだりする上で非常に頼りになる存在でした。それらがあるのも、発信している人のおかげ。その人達に憧れてブログをはじめました。私の書いた記事が、一人でもお役に立てたら嬉しいです。コメントをキャンセルメールアドレスが公開されることはありません。date*日本語が含まれない投稿は無視されますのでご注意ください。昔から僕にとってインターネットは様々なことを見つけたり、学んだりする上で非常に頼りになる存在でした。それらがあるのも、発信している人のおかげ。その人達に憧れてブログをはじめました。私の書いた記事が、一人でもお役に立てたら嬉しいです。