L2正則化についてニューラルネットワークライター:古澤嘉啓TwitterFacebookニューラルネットワークも多くの機械学習アルゴリズムと同様に過学習という問題に陥ります。今回はこの過学習を回避するための手法の一つ、正則化について説明します。正則化手法としてL1正則化、L2正則化について解説します。これらの正則化手法はリッジ回帰、ラッソ回帰やエラスティックネットといった機械学習モデルに関連します。機械学習モデルは未知データへの予測精度を高めるために訓練データを学習します。機械学習モデルが訓練データを過剰に学習すると未知データへの予測精度が落ちることがあります。これはモデルが訓練データに対して過剰に学習したため、はずれ値やノイズまで学習してしまったと考えることができます。このような現象を過学習、またはoverfittingと呼びます。過学習が起きる原因としてデータ数が少ない、変数が多い、パラメータが大きすぎるといったことがあります。今回はこの過学習を防ぐための手法として正則化について説明します。モデルは損失関数を最小にするパラメータを学習していました。L1、L2正則化を用いた機械学習モデルは損失関数とパラメータの値の和を最小にするパラメータを学習します。パラメータの和を評価することでパラメータが大きくなるのを防ぎます。このようにしてモデルが過学習しないようにしています。以下の数式を見てみましょう。これはそれぞれの手法が最小にしようと関数を表しています。