\(Y=f(X)\)という関数に当てはめることを言います。この関数のことをモデルとも言います。以下のように\(Y=f(X)\)に当てはめることです。新しいデータ\(x_{new}\)が出た時の予測値\(y_{new}\)を算出します。単回帰とは単回帰は、以下のように入力が1つ\(x\)のモデルです。先ほどの図のモデルと同様に直線になります。このモデルを、得られたデータに適応させるために\(a\)と\(b\)を求める必要があります。この時に\(a\)と\(b\)は最小二乗法という方法によって求めることができます。最小二乗法とはデータの集合とモデルとの二乗誤差を最小にするパラメータを求める方法です。プログラムで単回帰を試してみるscikit-learnという有名な機械学習ライブラリを用いて単回帰を試してみます。scikit-learnは以下のコマンドでインストールできます。scikit-learn今回は以下のようなデータに対して回帰分析を行っていきます。ソースコードを以下に示します。ソースコードの21〜26行目で\(a\)と\(b\)を求めています。1.5721720909252557そのパラメータの単回帰の結果をプロットします。うまく単回帰を行えているようです。最小二乗法によってパラメータを求める解析的(数学的)にパラメータを求めてみましょう。最小二乗法とは、データ群とモデル(関数)の二乗誤差を最小にするパラメータを求める手法で、回帰問題等でよく用いられる手法です。数式が多くなりますが丁寧に解説していきます。二乗誤差まず最小化したい二乗誤差ですが、これはモデル(関数)と実際のデータと差(誤差)を二乗した誤差です。以下のようなデータがあります。今回は線形モデル\(y=ax+b\)によって表現したいとします。このときのモデルとデータとの二乗誤差は、この図の\(E_i\)の総和がモデルと各データとの二乗誤差の和が二乗誤差となります。\bigr)^2\end{eqnarray}$$これを二乗誤差と言います。誤差を総和誤差同士で打ち消してしまい、誤差が消えて可能性があるからです。最小二乗法では、この二乗誤差を最小化するようなパラメータを求めます。最小二乗法の手順では、先程の二乗誤差を最小化するパラメータを求めてみましょう。手順としては、以下のようになります。\(b\)を求めるでは、最小二乗法によってパラメータ\(a\)と\(b\)を求めてみましょう。\(b\)に対する勾配が0になるところを求めれば良いことがわかります。二乗誤差\(E\)をパラメータ\(a\)によって微分してみましょう。同様にパラメータ\(b\)によって微分します。2つの方程式(連立方程式)が得られました。\tag{2}\end{eqnarray}$$この連立方程式を使って\(a\)と\(b\)を求めていきます。\bar{x}^2}\end{eqnarray}$$同様にパラメータ\(b\)についても求めます。\bar{x}^2}\end{eqnarray}$$\(a\)と\(b\)を求めることができました。〜簡単な例で試す〜重回帰を簡単例を用いて説明・実装します。基本的にpython、scikit-learnを用いてわかりやすく説明・実装します。〜単回帰のパラメータを求める〜今回は最小二乗法を紹介します。最小二乗法とは、データ群とモデル(関数)の二乗誤差を最小にするパラメ...【軽く理解する】人工知能(AI)とはlocの基本的な使い方たぬ吉.com大学院、某IT企業で機械学習関連のプロジェクトに携わっていました。趣味は機械学習、アプリ開発、FX等の投資。記事に間違いがあれば、Twitterかコメントで教えていただければと思います。質問があれば、Twitterで連絡いただければと思います。進化計算ゲーム理論IT技術系まとめ投資全般ホーム検索トップサイドバーたぬ吉.com大学院、某IT企業で機械学習関連のプロジェクトに携わっていました。趣味は機械学習、アプリ開発、FX等の投資。記事に間違いがあれば、Twitterかコメントで教えていただければと思います。質問があれば、Twitterで連絡いただければと思います。Learning2マルチエージェント強化学習30マルチエージェント深層強化学習2評価用問題3方策勾配法1深層強化学習5行動選択1推薦アルゴリズム1機械学習11回帰3教師あり学習3教師なし学習2雑多なこと14colab2GPU1サーベイ6メモ2脳科学1遊び実験3雑記2他大学院受験1英語1メタ情報ログイン投稿フィードコメントフィードWordPress.orgタイトルとURLをコピーしました。