正則化した(罰則を課した)回帰分析を行います。縮小)することで、モデルの予測精度を高めようとします。正則化によりパラメータ推定値を収縮させると、予測値にはバイアスが生じます。バイアスは増加するのですが、それと引き換えに、ばらつき(分散)が減れば、全体として予測誤差は小さくなります。「一般化回帰」で用意されている方法のうち、弾性ネットとLassoは、変数選択を行う側面もあります。弾性ネットやLassoなどは、多重共線性が生じている横長のデータを分析するのに適しています。最近のデータには、標本サイズよりも変数の数の方が多いこともよくあります。p問題」などと呼ばれています。nは標本サイズ、pは説明変数の個数です。そのようなデータに対して従来の統計手法を使用する場合は、変数を取捨選択する必要があります。実験計画などの、小規模で相関があまりないようなデータでも、Lassoや弾性ネットは役立ちます。ネットとLassoは、パラメータ推定値の大きさに罰則を課すことにより、パラメータ推定値をゼロの方向に向けて収縮させます。どの程度、収縮させせばよいかは、何らかの検証法によって決定されます。収縮の度合いは、調整パラメータによって決まります。Lassoと弾性ネットは、いくつかのパラメータ推定値をゼロにする傾向があり、パラメータ推定値を収縮させるだけでなく、変数を選択する性質も持ち合わせています。弾性ネットモデルは、Lassoとリッジ回帰の中間的な性質を持ち合わせています。詳細は、推定法の統計的詳細を参照してください。最尤法は古典的な手法の1つで、他の手法と比べるための出発点となるでしょう。変数増加法はステップワイズ回帰の手法の1つです。変数増加法では、1つずつ項がモデルに追加されていきます。すべての項がモデルに含まれるか、自由度がなくなるまで、最も有意な項が追加されていきます。•Lassoには2つの欠点があります。第1に、同じ程度に重要な変数のあいだに高い相関がある場合、Lassoはそこから変数を1つだけしか選択しない傾向があります。第2に、変数の個数pが標本サイズnよりも多い場合、Lassoは最大でn個しか説明変数を選択しません。弾性ネットは、重要な変数間に高い相関があっても、そこから複数の変数を選択しようとします。pのとき、n個以上の説明変数を選択することもできます。リッジ手法は係数を0に収縮しないので、変数の選択は行いません。•ダブルLassoは、最初にLassoモデルで変数選択を行った後、選択された変数だけで再度、Lassoモデルをあてはめます。最初のモデルで選択された変数だけが、次のLassoモデルの説明変数として使用されます。•2段階変数増加法は、変数増加を2段階で行います。Lassoと弾性ネットにおいて、適応型推定も行えます。これらの適応型推定では、効果のある変数に対して、効果があまりない変数より少ない罰則が課されます。効果のある変数とは、モデルの項のうち、応答変数に対して実際に効果を持つものを指します。property)を持たせるために提案されました。預言的性質とは、効果のある説明変数が漸近的にはきちんと選択されるという性質です。具体的には、パラメータがゼロである説明変数を正確に識別することです。得られるパラメータ推定値が、効果のある説明変数だけを使って構成したモデルのパラメータ推定値に、漸近的に一致することです。応答変数にさまざまな分布をあてはめることができます。ベータ分布、二項分布、ベータ二項分布、Poisson分布、負の二項分布、ゼロ強調の二項分布、ゼロ強調のベータ二項分布、ゼロ強調の負の二項分布、ゼロ強調のベータ分布があります。これらの分布を用いることにより、連続尺度の応答、右に歪んだ連続尺度の応答、度数の応答などをモデル化できます。分位点回帰モデルやCoxの比例ハザードモデルのあてはめもできます。一部の分布では、打ち切りデータにモデルをあてはめることも可能です。モデル選択のためのさまざまな基準が用意されており、検証列(データを学習・検証・テストに分割する列)の指定がサポートされています。分布を参照してください。