LASSO回帰とRidge回帰の意味とメリットを整理 - 具体例で学ぶ数学
算数から高度な数学まで、網羅的に解説したサイト
LASSO回帰とRidge回帰の意味とメリットを整理
具体例で学ぶ数学 > 確率、データ処理	> LASSO回帰とRidge回帰の意味とメリットを整理
最終更新日 2019/06/01
LASSO回帰とRidge回帰の意味を解説します。
また、それぞれのメリット：
・LASSO回帰の解はスパースになりやすいので嬉しい。
・Ridge回帰の解は解析的に書けるので嬉しい。
についても解説します。
目次
LASSO回帰、Ridge回帰とは
LASSOの特徴
Ridgeの特徴
ElasticNet
LASSO回帰、Ridge回帰とは
普通の最小二乗法：
「予測と実際の値の二乗誤差」を最小化
$\displaystyle\min_w\sum(y-f(w,x))^2$
LASSO回帰：
「予測と実際の値の二乗誤差」を小さくしつつ「モデルが複雑になりすぎないように $w$ の大きさ（L1ノルム）も小さくする」
$\displaystyle\min_w\sum(y-f(w,x))^2+$$\lambda\|w\|_1$
ただし，1ノルムとは、各成分の絶対値の和：
$\|w\|_1=|w_1|+\dots +|w_n|$
Ridge回帰：
「予測と実際の値の二乗誤差」を小さくしつつ「モデルが複雑になりすぎないように $w$ の大きさ（L2ノルム）も小さくする」
$\displaystyle\min_w\sum(y-f(w,x))^2+$$\lambda\|w\|^2_2$
ただし，L2ノルムとは、各成分の二乗和のルート：
$\|w\|_2=\sqrt{w_1^2+\dots +w_n^2}$
LASSOの特徴
・LASSO回帰のことをL1正則化とも言う。
・LASSOはleast absolute shrinkage and selection operatorの略なので、全て大文字。
・LASSOの解はスパースになりやすい（0成分が多くなりがち）ので嬉しい。
実際L1ノルムが一定である線はとがっているので、最適解が座標軸上になりやすいです。
補足：
最適解において二乗誤差が一定である線とL1ノルムが一定である線は接します。（そうでない場合、2つの線がクロスするとどちらかに移動することで目的関数値をさらに小さくできてしまう）
そして、L2ノルムの場合は（L1ノルムの場合と比較して）接点が座標軸上になりにくいです。
Ridgeの特徴
・Ridge回帰のことをL2正則化、Tikhonov正則化とも言う。
・Ridge回帰の解は解析的に書けるので嬉しい。
実際、Ridge回帰の行列表現：
$\displaystyle\min_w\|y-Xw\|^2_2+\lambda\|w\|^2_2$
の解は、
$w=(X^{\top}X+\lambda I)^{-1}X^{\top}y$
と書くことができます。
$\lambda=0$ の場合が普通の最小二乗法に対応します：
$w=(X^{\top}X)^{-1}X^{\top}y$
ElasticNet
Ridge と LASSO を混ぜたのが ElasticNet です。
$\displaystyle\min_w\sum(y-f(w,x))^2+\lambda_1\|w\|_1+\lambda_2\|w\|_2^2$
次回は 移動平均の意味と計算方法（時系列データ、画像処理で活躍） を解説します。
サイト内検索
検索:
カテゴリー
計算
図形
指数、対数、三角関数
微積分
確率、データ処理
推定、検定
経済
日常の計算
その他
ページ上部へ戻る
Copyright © 具体例で学ぶ数学 All rights reserved.
