kimiakimのブログスマートフォン用の表示で見るkimiakimのブログこの広告は、90日以上更新していないブログに表示しています。R機械学習を勉強しているとよく目にするL1/L2について、いろいろ調べたものをメモ程度に。分類や回帰分析では、学習データとモデル値の誤差を最小化することでモデル化を行うが、過学習を避けるためにペナルティ項を加える。w2)の値が取れる範囲に条件をつけられ、過学習を防ぐ。わかりやすい絵は「パターン認識と機械学習(出版:シュプリンガー・ジャパン株式会社)」に載っているのでご参考まで。w2は原点を中心とした四角の領域を取る。このとき、四角の領域に接するようにしないといけなく、自ずとw1=0となる。Lasso回帰とも呼ばれる。>L1正則化は重み付け要素w1=0となるため、「不要なパラメータを削りたい」という時によく使われる。(次元・特徴量削減)モデルの推定と変数の選択を同時に行うことができる。データ数(仕事ではよくこの状況に出くわす)に強い。変数はデータ数を超えることはできない。変数間に強い相関があると、相関を捉えられず適切に変数を選択できない可能性がある。w2は原点を中心とした円の領域を取る。Ridge回帰とも呼ばれる。>L2正則化は「過学習を抑えて汎用化したい」という時によく使われる。L2正則化項は微分が可能なため、解析的に解ける。L1正則化項は解析的に解けない。net正則化L1ノルム正則化項とL2ノルム正則化項のミックスバージョン。いずれも、Pythonだとscikit-learn(機械学習ライブラリ)、Rだと{glmnet}で利用が可能。Mecabをインストールし、Wikipediaとはてなの単語を辞書に追加するL1/L2正則化に関して調べたメモPythonのDataFrameを削除などをした時のインデックス振り直し月別アーカイブ参加グループプログラミング数式はてなブログをはじめよう!kimiakimさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。