データとして用意されていれば、すべてモデルに組み込むことができる。逆行列が計算できなかったり、モデルが独立変数に過剰に適合してしまう危険性が大きくなる。このような危険性を抑制するには、モデル作成時に、データに含まれている独立変数をすべてモデルに組み込むのではなく、従属変数を説明するのに重要な独立変数だけをモデルに組み込む必要がある。重要な独立変数を選択する方法には、次のような方法がある。実験の計画段階において、すでに重要と思われる要因(因子)を独立変数として選択する。統計量など)を用いて評価し、もっとも良かった組合せを利用する。すべての要因それぞれについて、単独で回帰式に代入し分析を行う。結果のもっとも良かったものを残す。つの独立変数で回帰分析を行う。つの独立変数で回帰分析を行ってなどのように、適合が改善されるなくなるまでに逐次に独立変数を増やしていく。すべての独立変数を回帰式に代入し分析を行う。削除して回帰モデルを作成し、適合を調べる。適合もっとも改善されたモデルを残し、このモデルからさらにもう一つの独立変数を減らして、適合を調べる。このような作業を、適合が改善されなくなるまで、逐次に独立変数を減らしていく。よばれる変数選択法などもある。正則化の一つであり、モデル構築と変数選択を同時に行えるアルゴリズムである。