function)を用いて予測を行うものです。説明に入る前に言葉の定義から紹介します。過学習を防いで汎化性を高めるための技術で、モデルに正則化項というものを加え、モデルの形が複雑になりすぎないように調整している(モデルの係数の絶対値または二乗値が大きくなってしまうと、訓練データのモデルに適合しすぎて、テストデータのモデルの当てはまりが悪くなる過学習という現象が起こるので、過学習を避けるために正則化項をつけている)重み説明変数(求めたいものに作用する変数)が目的変数に与える影響度合いを表現したものです。機械学習の分野ではコスト関数を最小化することがモデル構築では重要となるモデルの比較Ridge回帰とLasso回帰は大きな差があるわけではありません。根本の考えは同じだが、視点を変えてみたようなものです。p=1の時がRidge回帰、p=2の時Lasso回帰であるノルムの定義は以下の通りです。モデルの特徴をノルムの次元数から推測すると以下のことがわかります。解析的に計算出来ない4.L1ノルムには様々な推定アルゴリズムが提案されている以上のことから、常にどのノルムが一番優れているということはほとんどありません。L1ノルムはパラメータが0になりやすく、正則化の影響が非常に強いことに対してL2ノルムは過学習になりやすく、正則化の影響が少し弱いです。Ridge回帰は他と余りにもかけ離れたデータの重みを0にする事で、学習用データから削除するものLasso回帰は他と余りにもかけ離れたデータの大きさに応じて0に近づけて、学習結果を滑らかにするものということが分かりました。Ridge回帰は訓練データに対する精度は高いですが、テストデータに対する精度は少し低くなります。Lasso回帰は訓練データに対する精度はRidge回帰に比べ低くなりますが、テストデータに対する精度はRidge回帰よりも高くなります。つのうちではRidge回帰をまず試してみると良いでしょう。理解しやすいモデルが得られます。