?「猫が鼠を捕まえた。情報理論では、起こる可能性、確率が低いこと(事象)を表す情報の方が情報量が多いと定義する。情報量は少ないということになる。確率と情報量は逆数または反比例の関係となる。二つの独立した情報を得た場合の合計の情報量が二つの情報量の和に等しくなると望ましい。これらの要求を満たすように情報量は次のように定義される。log2P1と定義する。用いられることが多い。対数を採用することで二つの独立した情報に対する情報量が二つの情報量の和として表現できる。P2)例として、情報量を実際に計算してみる。情報量になることがわかる。事象の集合(事象系)を、個々の事象とその生起確率の組み合わせとして、以下の形式で表すことがある。pan}コインの例を上記の形式で表すと以下のようになる。