bit条件付エントロピーを一般形で記述すると次の式になる。違いに注意する必要がある。j例として、上記のジャンケンの例で結合エントロピーを求めてみる。関係は以下のようになる。保たれていることがわかる。事象系や事象を定めて情報量やエントロピーを説明してきた。以降では主として通信の分野を対象として情報量やエントロピーの理論を導入する。本節では情報源により生成される記号(事象)の生成過程をモデル化して、理論的に扱えるようにする。事象を「記号(文字)がある確率に基づいて生成(送信)される」こととする。情報源を、記号や文字を生成するところとする。ほとんどの場合は複数個の記号を並べて組み合わせた記号列とされる。よってこの後は複数個の記号からなる記号列を主として取り上げる。以下では離散的情報源を対象とする。離散値で表現される記号列が生成される。sn}と表すことにする。情報源アルファベットと呼ぶ。個々の記号であり、情報源記号または情報源シンボルと呼ぶ。(以降漢字と記号が続く)}となる。現れる文字とあまり使われない文字がある。ある文字が現れる確率はその前の文字に影響を受ける。情報源アルファベットに各記号が生成される確率を表す性質を加えた確率事象系が情報源のモデルとなる。すると次のように表すことができる。これは情報量の定義で既に出てきた事象系の表記と同じである。psn}情報源から生成された記号の並び(記号系列)を通報と呼ぶ。次の記号系列はいずれも通報である。pen.これはペンです。通報は個々の記号が時間経過に沿って順に生成されたものと言える。種類に分けることができる。生成される記号が過去に影響を受けない。毎回独立に生成される。生成される記号が過去に影響を受ける。過去の記号によって次に生成される記号の確率が変化する。先に現れた文字によって次に現れやすい文字と現れにくい文字にわかれる。個以上の子音が連続する確率は非常に低い。子音の間に母音が入る確率は非常に高くなる。かん、いん、さん、などの並びは多くの単語に含まれるためこのような並びになる確率は高い。各記号の生成確率を表す。既出の事象系の表現と同じである。これまでのエントロピーの計算式をそのまま当てはめて計算することができる。この情報源の発生エントロピーは次のように求められる。