距離が最小になるということです。推定空間と直交するものとして与えられることがわかります(図2)。式で書くと残差のベクトルは計画行列の列ベクトルと直交するので(付録、(4))、となります。従って、つまり次式が成り立ちます。これを正規方程式といいます。なって逆行列が存在します。従って正規方程式を解いてが、最小二乗解となります。推定値はとなり、観測値は以下のように分解できます。垂直に投影したもの(正射影)を与えます。次のような性質を持っています。正射影はただ一つに決まることが証明されます。従って最小二乗解も一意に決定されます。古い最小二乗法の教科書では、正規分布から最小二乗条件を導き出し、観測値Yを正規分布に従うと仮定していました。図2に示すように、最小二乗解は幾何学的に導かれ、観測値の正規分布の仮定は必要ありません。簡単な例として、前回紹介した直線回帰の問題を見てみましょう(図3)。ベクトルと行列で表現すると、となります。最小二乗解が、と求まります。最小二乗解は重要な性質をもっていますので、以下に述べたいと思います。最小二乗解の不偏性です。最小二乗解の期待値をとるととなり不偏(期待値が真値に等しい)であることわかります。最小二乗解は観測ベクトルの線形関数として与えられますから、誤差伝播により分散を持ちます。分散行列は、(6)よりとなります。重み係数行列と呼ばれ、未知量の精度に関係しています。4行4列で、緯度(n)、経度(e)、高さ(u)及び時間(t)が要素になっています。(水平DOP)が導かれます。最良不偏推定値BLUE推定値を求める時の基準としてBLUEというものがあります。Estimator)の頭文字で最小の分散を持つ不偏な線形の推定値という意味です。これに関しては有名な次の定理があります。満たす最小二乗解である。不偏推定量が存在するということです。適当な一次式が推定可能となります。証明はここでは省略しますが、一般の教科書に載っていますので(例えば、参考文献2)興味ある方は参照してください。残差の二乗和を考えましょう。モデルに最小二乗解を代入すると残差は、となります。誤差ベクトルのみに依存することがわかります。そこで残差二乗和の期待値をとると、となることがわかっています(参考文献2等参照)。残差二乗和からと推定できることになります。