theorem)は、情報理論における定理であり、ガウスノイズを伴う理想的な連続アナログ通信路の通信路符号化を定式化したものである。この定理から、そのような通信路上で誤りなしで転送可能なデータ(すなわち情報)の最大量であるシャノンの通信路容量が求められる。このとき、ノイズの強さと信号の強さが与えられることで帯域幅が決定される。この定理の名称は、アメリカの2人の電子工学者クロード・シャノンとラルフ・ハートレーに由来している。したとき次のように与えられる。信号のS/N比であり、信号とノイズの電力の単純な比で表され、単位はよく使われる対数表現のデシベルではない。歴史[編集]1920年代後半ごろ、ハリー・ナイキストとラルフ・ハートレーは様々な情報転送に関する基本概念を生み出した。通信システムとして電報を対象としていた。当時、それらの概念は強力なブレークスルーではあったが、理論として体系化されるまでには至らなかった。1940年代、クロード・シャノンはナイキストやハートレーの業績に基づいて通信路容量の概念を生み出し、情報理論として体系化した。ナイキスト・レート[編集]1927年、ナイキストは、電報の通信路に単位時間当たりに送り込めるパルス数が帯域幅の2倍に制限されていることを示した。式で表すと次のようになる。帯域幅(ヘルツ)である。パルスを送ることを「ナイキスト・レートでの信号送信」と呼ぶようになった。ハートレーの法則[編集]同年、ハートレーは通信路で転送できる情報の量とレートを定式化した。後にハートレーの法則と呼ばれるようになり、シャノンの伝送路符号化理論の重要な先駆けとなった。ハートレーの主張は、通信路上で確実に区別して転送可能な最大の信号振幅のレベルの数は、信号の振幅のダイナミックレンジと受信側がその振幅レベルを識別できる精度によって制限されるということである。以下の式で与えられる。V}}ハートレーは、情報量はパルスレベル数の対数で得られるものとして、情報量が通信路の帯域幅と通信路の使用時間に比例するとした。ハートレーの法則という用語はこの比例のことを指す場合もある。(ビット毎秒)を以下のように定式化した。この形式をハートレーの法則とする場合もある。通信路のノイズの関係を明確にはしなかった。安全側に設定せざるを得なかった。誤りのない容量の定量化はクロード・シャノンまで待たねばならなかった。シャノンは、ハートレーの業績(パルス数の対数が情報量)とナイキストの業績(帯域幅による制限)に基づいて理論を構築した。個の記号(ビット)を送る場合に相当する。これを通信路容量という場合もあるが、誤りのない通信路は一種の理想化であり、シャノン・ハートレーの定理で示される誤りのある通信路での通信路容量に比べると実用性は低い。参照クロード・シャノンの情報理論は第二次世界大戦中に構築され、ノイズのある通信路上で確実に通信できる情報量を把握するための大きな進歩となった。ハートレーの成果を発展させ、シャノンが1948年に発表した通信路符号化定理は、ノイズの影響下での誤り訂正方法の効率の最大値を示した。この定理の証明によって、無作為に構築された誤り訂正符号が本質的に最高の符号でもあることを示した。証明はそのような無作為な符号の統計的操作によって行われた。シャノンの定理は通信路の統計的記述から通信路容量を計算する方法を示している。R<C\,}であるとき、受信側での誤り率を極めて小さくする符号化技法が存在する。(ビット毎秒)を上限として誤り率をほぼゼロで情報を転送できることを示している。R>C\,}である場合、転送レートの上昇とともに受信側での誤り率も増大していく。従って、通信路容量を超えて意味のある情報を転送することはできない。この定理では転送レートと通信路容量が同じという稀な状況については特に何も示していない。シャノン・ハートレーの定理[編集]シャノン・ハートレーの定理は、有限の帯域幅でガウスノイズのある連続時間の通信路での通信路容量を明らかにした。S/N比に結びつけた。無限の帯域幅でノイズのないアナログ通信路があったとしたら、単位時間当たりに誤りなしで転送可能なデータの量は無限となるだろう。実際の通信路には帯域幅の面でもノイズの面でも制限がある。帯域幅やノイズはアナログ通信路での情報転送レートにどのような影響を与えるのだろうか?驚くべきことに、帯域幅の制限は最大情報転送レートを制限しない。これはつまり、ノイズさえなければ信号の様々なレベルに異なる意味(あるいはビット列)を割り当てることで多量の情報を送ることが出来、これを突き詰めて行けば、瞬間の信号レベルだけで無限の情報を送ることも原理的には可能なのである。帯域幅とノイズの両方を考慮した場合、転送可能な情報量は制限される。シャノン・ハートレーの定理が想定した通信路では、信号のノイズは足しあわされる。受信側が観測する信号は、元々の符号化された信号とノイズの無作為な値の総和である。この加算によって、元々の信号がどうであったかが不確かになる。受信側がノイズを生成する確率過程について情報を持っていれば、理論的には、ノイズがある時点でとりうる値を考慮することで元々の情報を復活させることができる。シャノン・ハートレーの定理では、ノイズは分散の明らかになっているガウスノイズとされている。ガウス過程の分散はその電力と等価なので、それをノイズの電力と便宜的に呼ぶ。「ホワイト」と付くのは、帯域幅の全周波数においてノイズが同じ強さであるためである。このようなノイズは何らかのエネルギー源が発生する場合もあるし、送信機や受信機での誤作動によって発生する場合もある。独立したガウス確率変数の総和もガウス確率変数であるため、ノイズ発生源が複数あったとしても解析は容易である。{S}{N}}}}}平方根が電力比から電圧比への変換になっており、利用可能な電圧レベルの個数は信号の振幅と雑音の標準偏差との比のRMSである。このような両法則の類似から、M個のパルスレベルが文字通り何の混乱もなく転送できると解釈されるべきではない。その他の形式[編集]周波数依存の場合[編集]これまでの単純な想定では、信号とノイズには全く相関がなかった。ホワイトノイズ以外のノイズ(S/N比が帯域幅内の周波数に対して一定でない)の場合を求めるには、ガウスノイズのある狭い通信路が複数並行していると想定すればよい。この定理はノイズがガウス定常過程の場合にのみ適用される。近似[編集]S/N比が大きい場合と小さい場合、以下のような近似が可能である。なり、容量は帯域幅とは独立となる。そのため、以下のように近似される。