Regression)についてまとめてみた。このアルゴリズム自体は変数を選択するのによく使われる。Lasso回帰については以下の記事で扱っているので気になる人は参照してほしい。REGRESSION以下のサイトを参考にした。Regression)は予測値と教師データとの偏差ベクトルとそれぞれの特徴量が基底となるベクトルとの角度が大きい(偏差との相関が大きい)ものとなるような特徴量を1つずつ追加していくというもの。Regressionという名前がついているそう。第14回助教の会によれば、このアルゴリズムの流れというのは全ての特徴量に対する重みが0の状態からスタートまだ使っていない特徴量のうち、相関が一番大きい特徴量を基底に加える基底に入っている特徴量と、モデルの予測値と教師データとの偏差をとる。それぞれの特徴量と、偏差ベクトルとのなす角が等しい(内積の値が等しい)ような係数を新しく加えた基底に対する係数とする。2~4を指定の回数分繰り返すという感じになるそう。いうのが新しい特徴量。基底とするベクトルとのなす角がちょうど等しくなるように基底の重みを決定する。Lassoモデル本題に入る前に、簡単に今回前提となる条件とモデルをざっとまとめていきたい。以下のように定義する。\\$$の値が最小になるような係数を求めるものとする。以下の正規化が施されていることが前提。Regression2変数モデルの場合では、まずは簡単な例から見ていく。制限されている場合だ。\\$$で表すことが可能。状態(初期状態の予測値を0にする)からスタートする。\\$$下図の様な関係を満たしていることになる。角度がより小さくなる様になっている。\\$$を満たすものとする。2等分線を引ける様な形になる。なす角を二等分する様なベクトルになっていることがわかる。今度は2変数以外の場合にも成り立つ様な定式化を行う。この集合は予測値と教師データとの偏差との相関値が高いものが選ばれている集合とする。この時、新たに追加する変数を選ぶ作業をする。新たに以下の2つを定義する。成分が全て1のベクトル。\\$$と表すことができる。\\$$であり、その中での最大値を取り出す。