統計的なパラメータのどこかに潜り込ませることで問題を定式化します。ブレがある」と考えていることになります。統計パラメータの推定(学習)このようにして定めた確率分布は、パラメータを明示すれば以下のようになります。値が確率的にわかるので、上手く予測に使えそうだということになります。これが機械学習の基本的なモチベーションです。対する最小二乗法の結果と全く同じものになります。2乗誤差を損失関数とした普通の機械学習と同じ)。統計的なパラメータの推定という行為が、機械学習での学習ということになってくるわけです。考えてを推定する(学習する)ことができれば、上手く予測に使えるということになります。予測を行うというのは、数式で書くと以下のようになります。この左辺から右辺への変形は「周辺化」(あるいは乗法定理)と呼ばれるものであり、いつでも必ず使うことができます。右辺を注意深く見てください。いうのは先程普通の機械学習の時に考えていた予測器です。掛けて足し合わされています。これが冒頭で述べた、パラメータの重み付き平均で予測を行うという意味です。よってと構築できると考えていました。そもそもベイズ理論ではたかだか有限のデータで真のパラメータを知るなんてことは無理だと考えていることを思い出してください。予測を行うというのは、ある自信過剰で傲慢な態度だとも取れるわけです。表していることになります。予測に使おうということになるわけです。ベイズでの学習では予測器を構築するために私達が知らなければならないのは何でしょうか。重み付けして予測器を作ることができる、というストーリーです。近似してしまおうと考えることができます。ベイズの定理によって、とすることができます。確率が分かることになります。これを求めるのが、ベイズにおける学習です。ついてもう一度見てみましょう。これは大変なことです。近似することを考え、そしてそれをベイズの定理で変形してきました。これは困ってしまいます。適当に置いてしまいましょう。値に心当たりがあれば、その知識を分布に反映させます。なければ計算がしやすいように置いてしまいます(これが主観確率と呼ばれ、批判される原因となりました)。適当に置くというとんでもない状態になってしまいました(通常、これを事前分布という)。十分に沢山あれば、この事前分布の影響は非常に小さくなることが知られています。1つに決めるつもりはない)。実はやっていることのおかしさに比べて、理論上それほど変な事にもならないのです。実は良い効用が考えられます。適当に仮定して、上記を求めてしまい。して活用してのように再推定することができるのです。これをベイズ更新と言います。近似と考えで予測を行うのがベイズ推定です。重み付けしようというのがベイズ推定のモチベーションです。使って、予測器をと構築します。以外も予測器の構築に参加させたものであると見ることができます。これは良いことなのか悪いことなのか微妙に感じるかもしれません。信頼度に大差がないことになります。かかわらずそれだけを使うのは変です。分布に多峰性がある場合には更に顕著になります。使い予測器を構築します。MAP推定との違いは、ベイズの定理を見るとよくわかります。よって生まれてくることになります。MAP推定では正則化項の役割を果たすことになります。最尤推定というのは、データを完全に信頼し、更にそこから唯一のパラメータが決まると考え、正則化も用いず学習を行うことに相当し、実世界のデータに対しては大抵過学習を起こします。最後にまとめベイズ推定はいろいろなパラメータで構築される予測器を、重み付け平均にして予測器を構築します。決めることにしを予測器とするのでした。予測器を構築するのが、MAP推定による機械学習でありが予測器となります。真のパラメータを近似し、これを使って予測器をとするのが最尤推定を用いた機械学習です。普通は、最尤推定から始まって、MAP推定へと進み、ベイズ推定へと更に進化していく姿を見ていきます。このようにベイズ推定のモチベーションを予め把握して全体を見てみると、MAP推定や最尤推定が、むしろベイズ推定の簡素化したものであることがわかります。あればベイズ推定はもっと世の中に出回っても良いのではないかと思えてくるはずです。ベイズ推定の困難さ性能の高さは申し分ないのですが、一方で数理的な難しさが立ちはだかります。意識する必要はありません。学習は単に最大化問題となるだけのことです。一方でベイズ推定は確率分布によって予測器に重み付けを行うので、確率分布を計算しなければなりません。含まないのでどうでもよかったのですが、ベイズ推定では分母を計算する必要があるのです。分母の計算自体も周辺化によって実行します。考えうる全てのパラメータの和になっています。計算量の問題が尋常ではありません。これは予測器についても同様です。今回は分かりやすくという重み付けの式を使いました。いうのは離散値ではありません。微小な変化の和を取るのは積分になります。実際の予測器は厳密にはなのです。ベイズの定理の分母も同じ事情です。計算機は如何にしてこの無限小の和を実行するというのでしょうか(もちろん、実際には離散化するしかなく、Σの式を使うことになる)。よる積分であり、しかもの形をしています。困難な部分はこの期待値計算にあるわけです。簡単な分布なら、手で積分計算をしてしまえるかもしれません。なければ、期待値計算が上手くできる手法が必要になります。言えば、手計算を手助けするのが「変分ベイズ近似」であり、計算機による期待値のシミュレーションをなるべく正確に行おうというのが「サンプリング法」になります。ベイズを実践的に使いたい場合は、上記のいずれかの勉強を進めると良いかもしれません(これがまた難しいのである。プログラムで見ることのできるサンプリング法の方が直感的にわかりやすい。変分法の方は数学苦手ならゲロ吐く)。以下のブログでは、主にベイズ機械学習に関しての記事が書かれています。ベイズを勉強してみたい方は是非参考にしてみてください。今回はどんな予測器を作っているのかという話から開始し、それをベイズ推定が実際に達成するところを見てきました。求めること自体も苦労するのです。必要であり、それをハイパーパラメータと呼びます。重み付けするということが考えられます(ここまでして完全なベイズと言える)。事前分布が必要で...更にまた...ってなってしまう。階層ベイズモデルです。観測して手元にあるデータ以外は全部確率変数なんです。決まる)という表記が最も正確です。»プロフィール自分が勉強していく上で学んだことなどをまとめていきたいと思います。ML_deepスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。