1次関数になるため、この時に限り確率分布の空間が双対平坦な正測度空間内の超平面になる。これよりKLダイバージェンスだけが不変で分解可能かつ双対平坦空間を導くダイバージェンスとなる。ダイバージェンスの特徴付けを行った。本[1]だけでは理解できない部分が多く、書きたかったことの全てを書ききれなかったが、これまでの一連の記事を書き上げる中で情報幾何学に対する一定の理解は得たと思う。触れられたのは基礎的な部分だけで、応用面については取り上げることが出来なかった。本[1]をパラパラと読み進めてみると、情報幾何学の手法を用いて解決された実用的な問題もあるようだが、数学的な難易度は更に増しているように見える。今すぐにとはいかないが、そのうち応用についても理解したい。Wikipedia*1:ここまでずっと連続確率分布を扱っておきながら、いざ数学的な扱いが面倒になると離散確率分布に逃げる本書のスタンスは好ましいものとは思えない。*2:この用語はもっと厳密に定義しておくべきであるが、本[1]やネット上の情報を漁っても納得のいく答えが得られなかった。そのため、大変心苦しいが定義を誤魔化したまま議論を進めている。場合だけ特別な式が与えられている。いうことなのだろう...もし何か理由があってこの定義に妥当性があるのだとしても、全く自明ではないので説明して欲しかった。*4:本[1]の式は符号が間違っている*5:「正測度空間」という言葉をググってみても、全然それらしいページがヒットしない。この用語はどれくらいフォーマルなものなのだろうか。定義されないが、本[1]でそれに対する言及はない。極限を考えるのだろう。*7:本[1]からはこのように読み取れたのだが、計算が複雑で、結局自分では確かめることができなかった。どなたか計算を追うことができた方がいれば、ぜひ真偽の程を教えて頂きたい。前回の記事では双対平坦空間について説明した。これまでの記事では具体的な確率分布族は登場せず、ひたすら抽象的な議論が続いたが、いよいよ具体的な確率分布族について考えてみる。パラメータとして、確率密度関数が以下のように書ける確率分布の族である。重要なポイントがある。それは、確率密度関数は積分してなんぼであり、その積分とは通常はLebesgue積分であるため、確率密度関数は測度と密接な関係にあるということである。確率密度関数と測度の両方が定まって初めて積分により確率を求める事ができる。依存していないため、確率密度関数から測度に追いやる事ができる。折り込み済みのものを使用するのである。すれば、確率密度関数は以下のように表せる。左辺は確率密度関数なので、定義域全域で積分して1にならなければならない。掛かる影響を考慮済みであると暗に仮定している。以降の計算でも同様である。それを示すためにHesse行列を求めてみよう。・・・(1)これより、Hesse行列は共分散行列となる。凸関数である[2][3]。指数型分布族の双対平坦構造これまでの議論により指数型分布族には自然と凸関数が備わっていることが分かった。前回、前々回の記事より、凸関数が与えられればBregmanダイバージェンスや双対平坦空間が得られることを見てきた。これらの事実より、指数型分布族にもこれらの情報幾何学的な構造を定めることができる。本章ではそれを見ていこう。双対空間まずは双対座標、及び双対凸関数を求めてみよう。それぞれ以下のように計算できる。エントロピーの符号を変えたものになっていることが分かる。導かれるBregmanダイバージェンスを計算してみる。それぞれ互いに双対であるとする。これはKLダイバージェンスに他ならない[4]。Riemann計量Riemann計量は以下のように求められるのだった。右辺は式(1)である程度まで計算したが、それをさらに以下のように変形してみる。これはFisher情報行列に他ならない[5]。例:指数分布せっかくなので例を見てみよう。指数型分布族に属する確率分布はいろいろあるが、ここでは指数分布をピックアップしてみる。指数分布の確率密度関数は以下の式で表される[6]。置いて少し変形すると以下のようにできる。そのため、指数分布は指数型分布族に含まれる。