関連記事はじめに理論的背景の1つとしてベイズがある「ベイズ」というのは理論的背景・考え方の1つだと思ってもらって構いません。「ベイズ」という比べ方をするものではありません。ベイズというのは考え方であり理論であり、従って特定の応用分野のみを指す言葉ではありません。「自然言語処理のベイズ的取り扱い」だとか、はたまた「ニューラルネットのベイズ的取り扱い」などのような言葉の使い方ができ、非常にカバー範囲の広いものになっています。ベイズの考え方ベイズの考え方の特徴的な点として「パラメータを確率変数として考える」ことが挙げられます。ベイズについて調べていると「主観確率を認める」とか「ベイズの定理を使う」などの点が目につくかもしれません。「主観確率」というのはベイズの立場でも注意が必要ですし、「ベイズの定理」自体はベイズ的な取り扱いをする場合でなくとも用いられます。パラメータを確率変数だと考えるとどのようなことができるのでしょうか(あるいはどのように考えるべきだと言えるでしょうか)。この問いかけにより、ベイズ理論を用いたアルゴリズムは、よく見る機械学習の手法とは一線をかいた推論を行います。今回はその特徴を分かりやすく抑えて説明したいと思います。先に見通しをよくするため、ベイズ理論を使った場合の予測が結局何をしているのか、その結論を述べてしまいたいと思います。調整することで上手く作り上げようというものです。以下のように構築します。足し合わせたものになっているのです。見ると非常に単純明快ですね。複数個準備し、それらを統合したものを予測器として使っているのです。予測器に対する重み付き平均になっているのです。予測器としてどれだけ信頼が置けるのかを反映した係数になっていれば、上記の考え方真っ当に見えます。ベイズの理論ではパラメータを確率変数と考えることで、自然とこのような予測器を構築します。詳しく見ていきましょう。ベイズ理論まず「パラメータを確率変数として考える」というのがどういうことかを確認していきます。何らかの確率分布から現れていると考えられます。確率分布から現れてくるデータは確率変数と言い、例えばコイン投げのケースであればコインの「表」や「裏」などが確率変数であると表現します。一方で、コインが表になる確率や裏になる確率について記述しているのが確率分布だと考えてください。まとめると確率変数は、確率分布から生起すると言います。考えることができるので、このような場合の確率分布はという確率を反映した表現になっているべきで、このような分布はと書き表すことができます(ベルヌーイ分布という)。裏」と対応付けています。データは確率分布から出てきているということです。逆にその確率分布を知ることができれば、データのことをかなり把握できたことになるため、当然データ予測にも役立てられるというわけです。)から、このコインの表、裏に関する確率分布を知りたいというのが統計的な推定と呼ばれるものです。コインは裏か表しか出ないので、その二者択一を表現した分布が以下でした。知ることが統計的推定になります(機械学習で言えば学習に相当する)。パラメータは唯一無二!確率変数を観測することで、その確率分布のパラメータを知りたいのですが、パラメータというのは「唯一無二」であると考えるのが普通の統計の考え方です。「手元のコインは表が出る確率も裏が出る確率も明確に決まっている。真実というものが存在するのだが、それを我々は知らない。正確に知りたい」というスタンスなのです。いう未知のパラメータをただ1つ決定したいということなのです。ベイズ的な考え方パラメータは確率的に変動するベイズでは、パラメータに対して全く違う考えを持っています。コイン投げを100回やって観測したデータから推定したパラメータと、その後、もう1度100回やりなおして推定したパラメータは同じになるでしょうか?近い値になれども、完全に一致することは難しいでしょう。真実はいつも1つであり、コイン投げの背後には真のパラメータが有るかもしれません。有限このデータしか持たない我々には、結局それを知るすべはないのです。見方を変えれば、集めたデータ次第で推定されるパラメータが変わるということです。ここに着目して、ベイズでは、確率分布のパラメータ自体も確率変数だと考えます。普通の考え方では確率分布をと表記していました。」より右側はパラメータという確率変数とは異なる特別な存在であることを意識しています。確率分布はと表現します。トランプを引くときの一枚目と二枚目だと考えればわかりやすいでしょう。通常の統計でもこのように確率変数と確率変数に関して条件付き分布を考えることはします。パラメータに関してこのような表記をするのはベイズだけです(最近はベイズを意識しようがしまいが、この表記が多いと言えば多いのですが)。確率変数であるのと同じように、確率変数だと考えてしまいます。推定する際にを考えます。確率を考えるというわけです。これくらいの値だろうな」と感じているわけです。正確なただ1つの真実など最初から求めていないというわけです。ベイズの定理ベイズの定理とは条件付き確率の順番を入れ替えて、計算しやすくする便利な公式です。これはベイズ的な考えでなくとも認められたものであり、広く応用されています。関するベイズの定理は以下となっています。計算しやすい場合に応用することができます。何も特別なことはないのですが、ベイズ的な考えでは確率分布のパラメータすらも確率変数と考えるために、下記のようにベイズの定理を使うことができます。素のパラメータの確率分布です。この部分は、知る由もない分布であるため、通常適当な仮定を置いて計算をしてしまいます。ベイズではデータもパラメータも全部確率変数であるという意識があるため、上記のような変形も平気で行うことができます。ものは存在せず、確率変数ですら無いわけで、このような発想には至りません(許されません)。s0sem0y.hatenablog.coms0sem0y.hatenablog.com実応用にベイズここまではベイズ理論の心について見てきました。パラメータはデータによって決定される確率変数であるということでしたが、そのように考えると、実応用ではどのような変化が現れるのでしょうか。作りたいというのが基本的な考え方です。今日の株価を入れたら明日の株価を予測して返してくれる関数などを作るために、過去のデータを学習させるケースなどが考えられます(それが実現できるかは別として)。決定していこうというのが通常の機械学習になります。確率変数だと考えるのは自然です。完全にぴったり決まることは難しく、ある程度ブレがあると考えるわけです。どんな値を取りやすいのかの条件付き確率分布ということになります。正規分布だと仮定します(別に正規分布でなくてもいいが、一例として)。