投稿者leck_3328TweetPocket今回は回帰モデルの中でも特に確率的な値を出力するのに使われるロジスティック回帰についてまとめる。今まで扱ってきた線形回帰モデルの計算結果に対して、ちょっと一手間を加えただけのもの。線形回帰モデルについては以下の2つの記事を参考にしてほしい。最小2乗法(OLS)をscikit-learnで使ってみるラッソ(Lasso)回帰とリッジ(Ridge)回帰をscikit-learnで使ってみる嬉しいのは、出力される値が0~1に制限されるので確率として解釈ができるということ。今回書いたコードは以下のレポジトリにまとめてある。かけて足し合わせる(つまり、内積をとる)ことで値をだす。値は特に制限されない。シグモイド関数の導入ここで、シグモイド関数というのを導入する。これは以下のような式で表される。\\$$グラフの形状は以下の感じ。この値は0から1に制限されていることがわかる。なっていることがわかる。これにより、クラス分類問題において閾値をここに設定しておくと、値の変化がシビアになる。\\$$これでモデルの完成。近づくようにすること。\\$$クロスエントロピーと呼ばれるものを使うが他のサイトでこれについては扱っているのでこちらでは二乗誤差を使ってみる。以下のサイトが参考になる。最適化された重みとなる。個人的にはここの微分して0だったら損失が最小値というのは若干論理の飛躍が有るように思えてしまうが、確かめ方を知らないので、直感的な理解に止めるしかない。遠くなるような値を取ることはいくらでも可能なので永遠に離れることができる。損失の値をいつまでも大きくさせることができるということ。そのため、微分の値が0になるような点は最大値では存在せず、有るとするなら最小値しかない。