最急降下法が持つ収束の遅さという欠点を克服する方法のひとつにNewton法がある。式(1)の最小点を求める問題を考える。まわりでTaylor展開して2次の項まで残すと,(10)が得られる。ここに,(11)である。Hesse行列と呼ばれる。最小点の良い近似が得られると期待される。Hesse行列は正定値となることが証明できる。次元への拡張になっている。とおいて式(12)の右辺を書き直すと(12)となる。式(13)は(14)のときに最小値を取ることがわかる。とおくと,(16)という式が得られる。良い結果を与えることもある。適当に定めて,(17)とする。適当に定めて(19)により解を更新するN5)とするというNewton法のアルゴリズムが得られる。1に固定しても良い収束特性が得られることも多い。最急降下法と同じである。更新と並行して逐次的に近似してゆくアルゴリズムもある。このような一連のアルゴリズムを準Newton法と呼ぶ。HANBA平成15年11月16。