本記事は機械学習の徹底解説シリーズに含まれます。機械学習の記事一覧へ初学者の分かりやすさを優先するため,多少正確でない表現が混在することがあります。M$の出力を線形的に重みづけする線形回帰モデルを考える。\phi_{M-1})^{T}\end{align}と置いた。t_{N})^{T}$を教師ラベルとする最小二乗法に基づけば,最適な重みパラメータ$\vw_{\ML}$は以下で表され,これは正規方程式と呼ばれる。M$行列で計画行列と呼ばれる。\mPhi^{T}$はムーア・ペンローズの擬似逆行列と呼ばれています。入力を$\mX=(\vx_{1},\ldots,\vx_{N})$と置くと,目的関数$f(\vw)$は以下のように表されます。\left\{\vw^{T}\vphi(\vx_{n})\right\}^{2}\right]\end{align}求めたいのは二乗和誤差関数を最小にする$\vw$ですから,$f(\vw)$を$\vw$で偏微分した偏導関数が$0$となる$\vw$を計算します。\left\{\vphi(\vx_{1}),\ldots,\vphi(\vx_{N})\right\}\end{align}式($\ref{行列形式前}$)は以下のように表されます。0\end{align}したがって,$\mPhi^T\mPhi$が正則のとき,最適な重みパラメータは以下のように表されます。※コメントに返信があったらメールで通知する。私はロボットではありません。