元を選べば良いということを意味する。凸関数であり、これを双対凸関数と呼ぶ。一致するというのも1変数の場合と同様である。双対ダイバージェンス双対凸関数は凸関数なので、これを用いると双対空間にもBregmanダイバージェンスを定義できる。これを双対ダイバージェンスと呼ぶ。双対ダイバージェンスと元のダイバージェンスとの間には重要な関係がある。以下でそれを導いてみよう。このとき以下の式が成り立つ。これらを双対ダイバージェンスの式に代入すると以下のようになる。代入すると以下のようになる。結局、以下の式が得られた。ダイバージェンスの定義を説明した際、ダイバージェンスは対称性を満たさないということを述べた。上式が示す通りBregmanダイバージェンスについては2つの引数を入れ替えたものは双対ダイバージェンスに一致するのである。元の空間だけでは対称性がないように見えるが、双対空間まで広げて考えるとこのように美しい対称性が現れるというのは非常に面白い。含まれており少々複雑である。実はこれはちょっとした式変形で回避できる。これまでの議論が追えていれば簡単なので、以下に式変形だけ示す。まとめ本稿では情報幾何学のトピックのうち、Bregmanダイバージェンスとその双対ダイバージェンスに関する事柄について述べた。ダイバージェンスは対称性を持たないが、BregmanダイバージェンスについてはLegendre変換による双対空間まで考えることで美しい対称構造が得られることを確認した。本稿ではまだ微分幾何学らしい概念は登場しなかった。ここで述べたことは情報幾何学の中ではまだまだ序の口ということである。次回以降、少しずつ幾何学的な内容に踏み込んでいきたいと思う。Wikipedia*1:甘利先生の本[1]ではダイバージェンスの微分可能性などに触れられないままいきなりTaylor展開しているところがもやもやする。細かい数学的議論に重きを置いた本ではないので、これについては滑らかな関数であり、かつ剰余項は収束すると仮定を置いてしまうしかないのだろう。*2:ダイバージェンスの引数に点を入れたり点の座標を入れたりと記号がぶれているが、本[1]に合わせた結果なので好意的に解釈して頂けるとありがたい。*3:本[1]ではBregmanダイバージェンスの定義に用いる凸関数の性質について厳密な条件が記載されていない。議論を簡単にするために、ここでは滑らかな狭義凸関数であるとした。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。