機械学習に詳しくなりたいブログスマートフォン用の表示で見る機械学習に詳しくなりたいブログ機械学習や数学について勉強した内容を中心に書きます。記事は数学的に厳密でなかったり誤りを含んでいるかもしれません。ご指摘頂ければ幸いです。よる線形回帰において、訓練データ数に対して近似式の表現能力が高すぎると過学習が発生します。大きくなることに対してペナルティを与えることで過学習を防止する方法があります。書いた通り、正則化項はで表されます。制約条件において、二乗和誤差の最小値を求める問題を考えます。すると、制約条件および二乗和誤差は凸関数ですから、不等式制約におけるラグランジュの未定乗数法(KKT条件)より、の条件の元でを解けば、解が求められます。偏微分するのと同じ式が得られます。制約条件で二乗和誤差を最小化しているのと等しいことがわかります。先に決めたほうが意味としてはわかりやすいように思いますが、そうすると解を求めるのが難しくなるのでしょうか。ときは、それぞれlasso回帰、ridge回帰と名前が付いているようです。lasso回帰では疎な解(いくつかの係数が0になるような解)が求められます。これは以下の図から直感的にわかります。2種類の場合で、それぞれ縦軸、横軸にとっています。境界で、円は二乗和誤差の等高線です。確かに境界の先端、つまり一方の係数が0の点で解が求まる可能性が高そうですね。正則化についてWebで調べていると、この図は載っていても、なぜこの境界上で解が求められるのか?の説明はほとんどありません。言わなくてもわかってるでしょってことなんでしょうが、初学者にとってはなかなか厳しいです、、、。*1:符号は式(7)と揃えるため、不等式制約におけるラグランジュの未定乗数法(KKT条件)の説明から変えています。...2019-03-12カーネル法による正則化最小二乗法(1)先回、カーネル法でカーネル関数の定義を確認しました。線形識別を最小二乗法で計算した場合の解を導出します。月別アーカイブスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。