以下のように計算できる。以下のように計算できる。このように生成確率の高い情報源に長い符号を割り当てると平均符号長が長くなる。平均符号長が長い符号はより長い通信時間を必要として効率が悪い(例えばFAX)。よって一般的には平均符号長が短くなるように符号化の手順を構成する。符号により長さが異なる場合を可変長符号と呼ぶ。進変換の例は可変長符号となる。符号は伝送された後、もとの情報源記号に変換される。この変換を復号化または復号と呼ぶ。もとの情報源記号を正しく再現できる場合とできない場合がある。以降では復号の結果を考慮して、符号化の処理をいくつかのクラスに分類する。一意に復号化できない。復号化の結果が複数存在し得る。もとの情報源記号を正しく再現できない。復号化の結果が一つしかない。もとの情報源記号を正しく再現できる。