パラメータ数が少ないので過学習は起きにくい。値を嵩上げするのに大きな値が必要なときもある。小さくなるようにする。ユニットを有効化して学習する。入力層から出力層に向かって小さくする。普通の勾配降下法は、現在位置から直近で最も低い地点を選んで進んでいくので、平坦な盆地が不得意。どっちに進んでいいのかわからないので、盆地の縁まで歩いて行って方向転換、ランダムウォークで盆地を抜け出るまで辛抱モメンタムでは、重みの修正方向に慣性を表す項を与えて平坦な盆地を乗り切る。項があり計算の時に面倒。そこで、少し式を変形して扱いしやすくする。