電卓があれば叩いてみてください。一方で、「晴れ50%雨50%」の天気予報の場合には傘を持っていくかかなり迷いますね。直感的には先程の例で神のお告げを使うよりは、こちらの方で神のお告げを使いたくなるはずです。あまりにも不確定なので、あてずっぽうで選ぶには少し怖い気がするでしょう。このお告げの情報量の期待値はです。これは先程の例よりも大きな値になっています。(logの底はコンピュータの論理回路を意識して2で表される場合が多いですが、比較の場合は揃えてさえいれば問題ないでしょう)これは直感と結果があっています。5分5分のような不確定な状態であればあるほど、神のお告げを使いたくなりますよね。情報量の期待値は、確率が全部均等に分配されている時ほど大きくなります。この情報量の期待値のことをエントロピーと呼ぶのです。熱力学ではエントロピー増大則と呼ばれる非常に重要な法則があります。これは熱力学における温度と熱量の比の総和が大きくなっていく方へ自然と変化するということを言っているのですが、現象としては高温から低温へと熱が伝わるということです。振り子の力学的エネルギーの場合には、位置エネルギーと運動エネルギーは交互に増減しながら総和を一定に保ちます。熱エネルギーの場合は、高温での熱と低温での熱は交互に増減したりはせず、かならず高温から低温への一方向へしか流れないのです(総和は保ちます)。力学的エネルギーならいつでも位置エネルギーを運動エネルギーへ、あるいはその逆への変換をできますが、熱エネルギーの場合は外部から余計なエネルギーを供給してやらない限りは低温から高温へと熱は移せないのです。熱力学のエントロピーでは、物理的現象を表現するために温度と熱量の比を考慮したというくらいの概念でした。統計力学は、熱力学をミクロな視点で掘り下げたものです。物体が熱を持っているというのは、かなり細かく拡大すれば、分子が運動をしているということです。究極には分子の運動エネルギーを熱として認識しているにすぎないのです。分子の運動エネルギーが、なぜに一方向へしか流れないのかというのは疑問ではないでしょうか。力学的エネルギーは位置エネルギーと交互に増減できるはずです。それが自由に起こらないのはなぜでしょうか。この問に答えたのが統計的考え方です。実際にはより大きな運動エネルギーを持った分子が小さな運動エネルギーの分子からエネルギーを奪うことも稀にあります。大きな方が小さな方に分け与えるような形で衝突するケースが多いために、確率・統計的に見るとあたかも一方向にしか流れていないように見えるのです。エントロピーが増大するというのは、この場合には運動エネルギーの大きな動きの激しい分子が、衝突を繰り返すうちに、もともと静かだった分子にエネルギーを分け与えて全体的に同じくらいになっていくということです。これが結果的に高温から低温へ熱が移動したように見えるのです。これは高エネルギーと低エネルギーの分子が複数あり、これらが箱の中で仕切りによってキッチリ分かれていることを想像してください。これに対して仕切りを外し、箱をシャッフルして好きなタイミングで仕切りを戻した際に、分子が低エネルギーと高エネルギーでキッチリ分かれていると思えますでしょうか。混じっていることしか想像できないはずです。これが元々高エネルギーが密集していた方から低エネルギーへ流れていった現象を表しています。バラバラに混ざっている組み合わせは非常に多いですが、キッチリ別れる組み合わせなんてのは2通りしかないのです(高エネルギーだけ全部左or全部右)。いい具合に混ざった所で変化はほとんど起きなくなるはずです。何度試しても、組み合わせの数的にキッチリ別れることは起こらないでしょう。エントロピー増大でエネルギー枯渇?以上のことから、物理でのエントロピーというのは分子の(状態の)組み合わせから確率・統計的振る舞いを述べたものでした。熱的に言えば、エントロピーが増大するというのは、熱が均等に分配されていく平等さを表しています。一方で、熱が均一に配分されていくとなると、ある場所にエネルギーをいっぱい集めるのは自然現象では無理ということです。何か外部から操作を施さなければなりません(エネルギーを使う)。放っておいたら(というより何をしても)エネルギーは散り散りに、カスの集まりになってしまうのです。総和は保たれています。山のように積もった塵となってしまうのです。エントロピーが自然に増大し続けるという事実は、非常に都合が悪いことです。貯蓄されたエネルギー全てが塵になれば、我々は今一度大きなエネルギーの塊を得るすべがなくなるのです(なにせエネルギーを集めるためのエネルギーがないのだから)。いうわけで、熱学ではエントロピーを「乱雑さ」とかエネルギーの質の悪さの如く扱う場合もあります。エントロピーが高いエネルギーというのは、要するにエネルギーが散り散りになっていてまとまっておらず、使い物にならない質の悪いエネルギーということです。情報科学との関連しかし、物理的実体からひとたび離れて、その数理に着目すれば少なくとも形式はほとんど同じです。情報でエントロピーといえば、述べてきた通り得られる情報量の期待値です。(科学の世界では、形式的に同じだけという意見と本質的に同じで区別する必要がないという意見の両方がある。それはおいておくとして、)物理学でのエントロピーに関する色々な研究成果が、上手く行けば情報科学の世界に活かせるというわけです。情報科学は歴史がかなり浅いですが、物理は古くから研究されてきており、様々な問題の解法や考え方が整っています。これらを(概念的に違うものとは言え、問題を解く解法として)流用することは可能です。学習マシンであるボルツマンマシンは、統計物理のイジングモデルをまるまる頂いており、また近似解法である平均場近似は統計物理の考えそのものです。マルコフ連鎖モンテカルロ法として用いられるギブスサンプリングも同様です。変分ベイズ法は物理学で生まれた変分法に基づいています。ベイズ理論による推論も、伝統的な科学の分野ではおそらく統計物理が最も最初に用いていました。物理の振る舞いをモデル化する時には、最大エントロピー原理に従うという考えがあります。モデル化するというのは、その振る舞いを数式化するということですが、その数式を知ったことで物理の振る舞いに関する情報が最も多く得られるようなモデルを選択するというのが最大エントロピー原理の情報科学てき解釈です。最大エントロピー原理は、物理で生まれたものではありますが、推論などを行う際に一般的に扱える概念だと考えられています。»プロフィール自分が勉強していく上で学んだことなどをまとめていきたいと思います。ML_deepスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。