@ML_deep情報理論は現代のコンピュータが実現されるよりも前からシャノンによって提唱され、そして実際に情報通信技術(符号化や暗号化)の基礎を築いてきました。今回はそんな情報理論のエントロピーにまつわる話です。機械学習を少し勉強したことがある人にとっては馴染みの深いKLダイバージェンスは、情報理論では相対エントロピーとして知られる概念です。KLダイバージェンスは確率分布の隔たり(あるいは似ている度合い)を計る指標であるというのが、おそらく一般的な機械学習での解説です。今回はKLダイバージェンスまでは行きませんが、エントロピーなる概念の理解に努めていきます。情報の定式化エントロピーなる概念は、もともと統計物理学で現れたものです。情報理論として情報量なる概念を定式化していった際に、統計物理で扱われるエントロピーと数学的に同じものが出てきたため、統計物理に準えて情報理論で扱われるその数式もエントロピーと呼ぶようにしました。情報量が大きいとは?まず情報という目に見えないモノを如何にして定量的に扱うのかを考えなければなりません。情報を得るということがどういうことなのか、そして「たくさんの情報を得た」とか「あまり情報が得られなかった」などという表現はつまりどういうことを意味しているのでしょうか。「大陽は地球より大きい」という情報を(大の大人が)聞いたとして、その聞き手はどんな情報を得たと言えるでしょうか。大の大人にとって、これは当たり前の事実で100%そうだと言い切れることです。聞くまでもないことであって改めて「太陽は地球より大きい」と告げられても何も得ていないことになります。次に、「明日は雨が降る」と告げられたらどうでしょうか。ちなみにこのお告げは絶対真実を言っています。天気予報は確実に当たるわけではないですが、神様が「明日は雨が降る」という真実を教えてくれるのであれば、これはかなり大きな情報を得たことになります。ロト6などの数字を自分で指定する宝くじの当選番号を教えてもらえる場合はどうでしょう。これはたまげた情報です。お金がもらえることもそうですが、普通に番号を選んでいたら当たる確率なんてかなり小さいはずです。ある事象に関することを知る場合には、その事象が起こる確率が小さければ小さいほど大きな情報を得たと感じるはずです。8割方起こるであろうと予見していたことを教えてもらうよりも、全く予期していなかったことが起こると教えてもらえる方が大きな情報を得たと言えるわけです。情報量を定式化する上述の通り、情報量を定式化する場合には事象の確率が小さければ小さいほど大きくなるものを考える必要があります。情報量というのはどうやら確率の関数で表すべきです。次に、全く無関係な事象について個々に情報を得ることを考えましょう。「今晩は雨が降る」という情報と「友達の家の今日の晩御飯はカレーだ」という情報を同時に入手したとします。これが同時に起こったとしても、別に個々の事象に関連はないはずです。このような場合には個々の情報量の和で、全体の情報量が表現されるべきです。確率のお話で言えば、個々の独立な事象が同時に起こる場合には、個々の確率の積で事象が同時確率が求まります。確率の関数で表される情報量というものは、確率の積に対して、情報量としては和になっていることを要求したいのです。1]で、減少関数(確率は0〜1の値であり、小さい確率ほど情報量は大きい)2.であってほしいのです。このような要求を満たす単純な関数を知っています。中身に積が来た場合にはのように、個々の事象に関する情報の和だと捉えることができます。(例えば雨が降るとか)に関する情報量はと表現できます。情報量の期待値ある事象が起こる確率を論じる時、普通はその事象とは異なる(が関係のある)事象と比較をしているはずです。具体的には、「明日は雨」「明日は晴れ」という二択に関して、明日は雨であるという事象に関して確率を考えれば、それは晴れの確率と比較していることになります。要するに「明日は雨」という神からの絶対的なお告げを頂いた時に、どれだけの情報量を得たことになるかというのが、先程まで話してきたことです。次は話題を少し変えてみて、「明日は雨」「明日は晴れ」という二択に関して、これから神からお告げを貰おうと思った時に、得られるであろう情報量はどれほどでしょうか。「晴れ」か「雨か」お告げをもらう前に、この情報をこれから教えてもらえるとなったときに、どれくらい情報量を獲得できそうかというのは、現実的に単なる情報量よりも重要な問題だと思います。現実には神からのお告げはありませんが、これから本腰を入れて何かを調べようと考えたときに、一体努力の末にどれだけの事を知れるのかというのは興味がある問題なはずです。情報量の期待値に興味があるのです。不確定であるほど、情報量の期待値は大きいもしも天気予報で「晴れ10%、雨90%」と出ている場合には、神様から明日の天気に関するお告げをもらう必要はあるでしょうか?傘を持って行こうか迷うことなんてありません。90%と言われたら普通は持っていくでしょう。神様にお告げを聞いたら、案の定「明日は雨」だと言われたとします。これはかなり確率の高いほぼ自明なことを告げられただけで、大した情報は得られてません。「明日は晴れ」だとお告げを貰った場合、これは良いことを聞いたと思うはずです。みんな傘を持っていく中、自分だけは軽装で済みます。お告げを聞く前に、このお告げで得られる情報量の期待値を見ましょう。