ピクセルの状態は、第1,2ピクセルガ0で、第3ピクセルが1となっていることがわかる。あるが、この場合も、第1,2ピクセルは連動しているので正である。符号は負だが、これは、第1ピクセルが0で、第3ピクセルは1で、方向が逆になっているので、負なのである。あるかは、第1項の組み合わせの中に入っているものがそのまま踏襲されているだけである。三つのピクセル値の符号によって決まる。その式の第1項のqが含まれていれば(-1)をかけ、pが含まれているならば(1)をかけ、その三つの値の掛け算の符号で決まるのである。第1項が決まると、式の形は全て決まってしまうと言うことになる。すると、3次多変量ベルヌーイ分布の同時確率の一般形もすぐにかけそうだ。それができると、n次多変量ベルヌーイ分布の一般形もかけることになる。頭の痛くなるほど複雑になるので、今は、書くのをやめておく。多変量ベルヌー分布の変数間の相関を考慮した同時確率分布を考えるタイトルがやたら難しい!おそらく、3、4日前の自分がこのタイトルを見たら、記事の中身を決して読まなかっただろうと思う(笑)はじめに:それはベルヌーイ分布だった最近、何か色々考えたりプログラムしていて、自分のやろうとしていることを、後で、その理論的枠組みを知ることが多くなった。Classifier」というものであることを知って、色々な知識が増えた。それをやったら、今度は、「単純」ではダメだ。ピクセルの変数間の相互関係を考慮しないとMNISTの正解率を84%以上には上げれないと思って、どうしたらいいんだと色々調べたら、そのために必要なことが、実は多変量ベルヌーイ分布の相関を考慮したモデルの問題なのだということを知った。そもそも、MNISTデータのテスト正解率をあげるのに、なぜ相関を考慮する必要があるかをまず書いておこう。単純ベイズ分類器の場合、一つのピクセルの事前分布を調べるが、その変数の分布は独立であると想定する。MNSITデータは、一つの手書き数字に、28X28=748ピクセルを用いている。他のピクセルの変数とは独立に与えられる確率変数であると想定するのである。実際は、数字が形をなすということは、ピクセルのどこかの値が1になることと、別のピクセルの値が1になることが、連動していることを意味している。連動しているからこそ、数字として人間が認識できるのである。相関を考慮することはどうしても必要なのである。ピクセルが独立しているなどという想定は、脳の機構とは全く違ったものになる。ニューロンが他のニューロンとは独立に発火するというのは、脳的ではないし、面白くない。相関を考慮するということは、ニューロン同士の関係性をある程度シミュレートすることにもつながる。いうわけで、ここにたどり着いたのである。この「多変量ベルヌー分布の変数間の相関を考慮した同時確率分布の導出」という問題は、一つのピクセルの値をベルヌーイの二値の分布ではなく、正規分布と仮定すること、さらには、多くのピクセルの変数を相関のある多変量正規分布と仮定することよりも、問題が複雑なのではないかと思う。そもそも、1,0の二値の分布が独立でない場合の同時分布とはなんだろうか、そこが全く掴めなかった。ネットでも、わかりやすく解説しているところがなかなか見つからなかった。自分の理解した範囲で、以下で解説してみよう。2変数のベルヌーイ分布:共分散がある場合MNISTは784ピクセルで1文字を表す。ここで目一杯単純化して、あるパターン(MNISTの場合は文字)が2ピクセルで表されたとしよう。一つのピクセルが0か1の値を持つとする。このパターンのもとで、二つのピクセルがどのような値を持つかを考えるのである。表すと考えておいても良い。この同時確率は、一般ベイズ分類器の事前確率になるものであり、私たちが求めたいところのものである。あるパターンのもとで、状態iが現れる確率がわかれば、状態iが現れた元でその原因となるパターンの確率がベイズ定理によって推計することができる、元のパターンを推定することができるわけである。用いて、次のように書くこともできる。