機械学習に詳しくなりたいブログ機械学習に詳しくなりたいブログ機械学習や数学について勉強した内容を中心に書きます。記事は数学的に厳密でなかったり誤りを含んでいるかもしれません。ご指摘頂ければ幸いです。モデル線形識別を最小二乗法で解くとうまくいきません。最小二乗法は誤差が正規分布に従うことを前提とした手法ですので、どのクラスに属するかという識別の問題ではこの前提が成り立っていないからです。確率的生成モデルでは、データがどのような確率分布に従って生起しているのかを考慮してモデルを考えていきます。2クラスの問題を考えます。属する確率は、ベイズの定理より、と書けます。線形関数で表せると都合が良いです。式(1)は周辺確率、確率の乗法定理を使えば*3、と展開できます。属する事後確率が式(7)のように表すことができました。表し、シグモイド関数と呼びます。はで書けることになります。]の区間に収まっておりますので、どちらのクラスに属するか?という2値の問題を考えるのに適していますし、確率として解釈することもできます。ベイズの定理から出発したのだから確率として解釈できるのは当然ですが。2次元データの識別を考えたとき、シグモイド関数の出力のイメージは以下の図のようになります。この出力が0.5を超えるかどうかで、どちらのクラスに属するかを判別します。適切に求めることによって、境界である0.5の位置が調整されます。出力として表せることがわかりました。表すことができるようです。唐突で、なぜシグモイド関数が出てきたのかがなんとなくすっきりしませんが、微分がしやすいとか計算上のメリットがあるようです。表せることを次に確認したいと思います。前回の以下の記事の続きです。線形識別を最小二乗法で計算した場合の解を導出します。1引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。