2019.08.29今回は最小二乗法を紹介します。最小二乗法とは、データ群とモデル(関数)の二乗誤差を最小にするパラメータを求める手法で、回帰問題等でよく用いられる手法です。今回は単回帰の最もシンプルな例を用います。最小化したい二乗誤差ですが、これはモデル(関数)と実際のデータと差(誤差)を二乗した誤差です。以下のようなデータがあります。今回は線形モデル\(y=ax+b\)によって表現したいとします。このときのモデルとデータとの二乗誤差は、この図の\(E_i\)の総和がモデルと各データとの二乗誤差の和が二乗誤差となります。\bigr)^2\end{eqnarray}$$これを二乗誤差と言います。誤差を総和誤差同士で打ち消してしまい、誤差が消えて可能性があるからです。最小二乗法では、この二乗誤差を最小化するようなパラメータを求めます。最小二乗法の手順では、先程の二乗誤差を最小化するパラメータを求めてみましょう。手順としては、以下のようになります。\(b\)を求めるでは、最小二乗法によってパラメータ\(a\)と\(b\)を求めてみましょう。データの集合とモデルの誤差\(E\)は以下のようになります。\(b\)に対する勾配が0になるところを求めれば良いことがわかります。二乗誤差\(E\)をパラメータ\(a\)によって微分してみましょう。同様にパラメータ\(b\)によって微分します。2つの方程式(連立方程式)が得られました。\tag{2}\end{eqnarray}$$この連立方程式を使って\(a\)と\(b\)を求めていきます。\bar{x}^2}\end{eqnarray}$$同様にパラメータ\(b\)についても求めます。\bar{x}^2}\end{eqnarray}$$\(a\)と\(b\)を求めることができました。〜簡単な例で試す〜重回帰を簡単例を用いて説明・実装します。基本的にpython、scikit-learnを用いてわかりやすく説明・実装します。\(Y=f(X)\)という関数に当てはめることを言います。コメントをキャンセルメールアドレスが公開されることはありません。*サイト次回のコメントで使用するためブラウザーに自分の名前、メールアドレス、サイトを保存する。ぬ吉.com大学院、某IT企業で機械学習関連のプロジェクトに携わっていました。趣味は機械学習、アプリ開発、FX等の投資。記事に間違いがあれば、Twitterかコメントで教えていただければと思います。質問があれば、Twitterで連絡いただければと思います。進化計算ゲーム理論IT技術系まとめ投資全般ホーム検索トップサイドバーたぬ吉.com大学院、某IT企業で機械学習関連のプロジェクトに携わっていました。趣味は機械学習、アプリ開発、FX等の投資。記事に間違いがあれば、Twitterかコメントで教えていただければと思います。質問があれば、Twitterで連絡いただければと思います。Learning2マルチエージェント強化学習30マルチエージェント深層強化学習2評価用問題3方策勾配法1深層強化学習5行動選択1推薦アルゴリズム1機械学習11回帰3教師あり学習3教師なし学習2雑多なこと14colab2GPU1サーベイ6メモ2脳科学1遊び実験3雑記2他大学院受験1英語1メタ情報ログイン投稿フィードコメントフィードWordPress.orgタイトルとURLをコピーしました。