機械学習に詳しくなりたいブログ機械学習に詳しくなりたいブログ機械学習や数学について勉強した内容を中心に書きます。記事は数学的に厳密でなかったり誤りを含んでいるかもしれません。ご指摘頂ければ幸いです。2018-03-05モンテカルロ法による積分(3)重点サンプリングサンプリングモンテカルロ法による積分(2)無限区間の積分で、正規分布の確率密度関数の積分をしました。]に対して、正規分布全体からサンプリングするのは実はとても効率が悪い方法のようです。範囲に約95%が集中していますから、標準正規分布で2以上がサンプリングできる確率は約2.5%程度しかありません。ほとんどのサンプルは計算に必要のない無駄なものとなっていました。この問題の解決するのが重点サンプリングです。導入し、そこからサンプリングすれば良いわけです。提案分布と呼ばれます。この式変形はシンプルですけど、なるほどなあという感じですよね。サンプリングし、として計算しましたが、提案分布を用いて重点サンプリングしてみます。提案分布は、以下のグラフのような2種類を使ってみました。中心値が積分範囲の下限なので、これで50%のサンプルが有効に使われることになります。軸に2だけシフトしたもの。これなら100%のサンプルが使われます。変化させて真値との誤差を計算してみた結果が次のグラフです。指数分布を用いた場合、同じ精度を得るのに約1/100のサンプル数で済みました。正規分布がその中間くらい。僅かに効率が悪くなりました。サンプルの効率も重要ですが、積分対象の形に近いこと、というのも重要な要素のようです。別の例で実験してみたいと思います。グラフで図示できれば確認できますが、高次元の場合は提案分布がその計算に適しているのか?判断するのは難しそうですね。確率分布だったり、積分対象だったり、文字の使い方がわかりにくいですね、、、。先回カーネル回帰分析(1)で導出した結果を使って、回帰問題...2019-02-27カーネル密度推定法の実験カーネル密度推定法の式(13)を使って、実際に確率分布を推定し...2019-02-24カーネル密度推定法パターン認識と機械学習(下)のカーネル法を勉強しています。メトロポリス・ヘイスティングス法(2)今回は多変量正規分布をMCMC法でサンプリングしてみました。1引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。