前回扱った内容を密度比推定により直接的にかっこよく解く。やりたいこと正常であると分かっているデータを元に異常が含まれるかもしれないデータの中から異常な標本を見つけ出す個々に外れ値検出するのではなく、テストデータ全体の確率分布も考える全体を考えることでノイズを減らせるのではないか、という期待があるやる方法としては、密度比を基底関数の線形モデルで表わし、KLダイバージェンスなり、最小二乗の考え方で目的関数に落とし込んで線形モデルのパラメータを求める、というもの。与えられているとする。テストデータが従う確率密度)。密度比のふるまいについてまとめる。差に対応する規格化条件を満たす関数)。これを使うと密度比はと表現できる。1より大きな値を取る↑より、以下のことが分かる。近似でき(0周辺でテイラー展開)、これが異常度の近似的な下限となる。オーダーより非常に小さい場合は異常が疑われる、ということになる。推定には誤差が必ず含まれ、割り算によってその誤差が増幅されてしまうということ。あるから、個々の分布が分からなくても密度比が分かればそれでよい。バプニックの原理から密度比を直接的に求めていくことを考えよう。表わすモデルとして線形モデルを仮定する。b次元のパラメータである。あとは、その目的関数を決めてやればよいが、以下のような基準を考えることができる。できるだけ近くなるようには非負値で規格化条件を満たすこれらを満たす基準として、非負関数fとgの情報理論的な距離を測る一般化カルバックライブラーダイバージェンスを考える(これの気持ちはよく分からない...)。上の式の期待値を経験分布で近似して、定数項を無視すると、以下の目的関数の最小化を考えればよいことになる。第一項は異常度の期待値なので、異常度の期待値を最小化したいということを表わしていて、第二項は規格化条件を表わしている。本では一般化カルバックライブラーダイバージェンスの最小化で定式化されているが、元の論文ではカルバックライブラーダイバージェンスに正規化項等を陽に制約に加えた最適化問題を解いているので、理解する分には制約付きのカルバックライブラーダイバージェンスの最小化と思って普通に問題ない。パラメータの最適化の最小化は凸最適化問題なので、勾配法などで求めることができる。基底関数は例えばRBFカーネルを使うことができる。カルバックライブラー密度比推定法では目的関数を一般化カルバックライブラーダイバージェンスに置いたが、他の目的関数を置くことももちろんできる。ここでは最小二乗の考え方でやっていて、正則化項を付け加えても閉じた形でパラメータを求めることができる。閉じた形で表わせる分計算としては楽だが、KLダイバージェンスを最小化した場合で得られた解との性質の違いは後で抑えておきたい。5(密度比推定による変化検出)前回に引き続き、密度比を直接推定するコーナー。パーセプトロ...2009-10-16「確率密度比」を用いた機械学習の新たなアプローチ東工大の杉山先生の講演がすごく面白かったのでメモ。確率的生成モデルゼミで発表したので、まとめておきます。(1)スターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。