BregmanダイバージェンスBregmanダイバージェンスは以下のようになる。指数分布はパラメータが1つしかないため、Riemann計量はスカラーとなる。具体的には以下のように計算される。Riemann計量が分かるとパラメータ空間の中での確率分布同士の距離が分かる。確率分布同士の距離とは、定性的には確率分布の形状が互いにどれくらい異なるかを表すものと考えられる。絶対値が大きくなると平均は0に近づいていく。値が少し違う分布同士でほとんど形状の差がなくなる。絶対値が大きくなるに連れてRiemann計量の値が0に近づいていくことに対応する。僅かに変わるだけで平均値が大幅に変動し、分布の形状が大きく変わる。0に漸近するに連れてRiemann計量が急激に大きくなることと関連している。本当は分散による影響も加味する必要がある。0に近いところでは分散が大きくなる。変化しても分布が変動し辛くなる。これは先程の平均の議論と逆のことを言っていることになるが、指数分布の場合は平均の変化の方が分布の形状を決める上で支配的な要因になっているということなのだろう。まとめ本稿では指数型分布族が持つ情報幾何学的な構造について調べた。指数型分布族には必ず凸関数が付随し、これにより得られるBregmanダイバージェンスはKLダイバージェンスになっていることを見た。付随する凸関数から定められるRiemann計量はFisher情報行列に一致することが分かった。実はKLダイバージェンスは情報幾何学において特別な意味を持つ。次回はそのあたりの話を書きたいと思う。前回の記事ではBregmanダイバージェンスから導かれる双対空間について述べた。本稿ではこれらの空間に定められる双対接続、及びそこから導かれる双対平坦空間について考えてみる。基本的には本[1]を参考にしているのだが、この本はどうも双対平坦な空間の導出がざっくりしすぎていて、少々納得感に欠けた。そのため、本稿では双対平坦な空間の導出に関する計算を少しだけ泥臭く書いてみることにする。本稿では全体的にEinsteinの規約を用いているので注意されたい。前回の記事でダイバージェンスの定義について説明した。その中で、Taylor展開した際の2次の項の係数が正定値対称行列になるという条件があった。これをRiemann計量として使うことで、確率分布のパラメータの空間をRiemann多様体と見なすのである。例として、以下の2変数凸関数から導かれるBregmanダイバージェンスについて、そこから得られるRiemann計量を計算してみよう。凸関数であることを確認する。Hesse行列は以下のようになる。なるため、これは凸関数である。次に、Riemann計量を求めてみる。言っても、前回の記事でBregmanダイバージェンスをTaylor展開した際の2次の項は、元になる凸関数のHesse行列に等しいことを述べた。確かに対称行列になっている。以下の計算により正定値行列であることも分かる。Riemann計量を成分毎に書き下すと以下のようになる。次に、多様体の接続について考えてみる。情報幾何学において特に重要な概念として双対接続がある。少々難しい概念なので、順を追って説明していこう。接続とはざっくり言うと、接続とは多様体の異なる点における接空間の間に対応関係を与えるものである。その対応関係にある種の線形性があるものをAffine接続と呼ぶ。Affine接続を説明すると長くなるので、詳細は[2]などを参照のこと。Levi-Civita接続Affine接続のうち、さらに以下の2つの性質を満たすものをLevi-Civita接続と呼ぶ。(対称な接続)(計量との整合性)Levi-Civita接続はベクトルの平行移動に対して計量を保つため、Riemann計量と強い依存関係がある。実際、Levi-Civita接続の接続係数はRiemann計量から一意に定まる。詳細は[2]などを参照のこと。1つ目の式に代入してみる。