機械学習に詳しくなりたいブログ機械学習に詳しくなりたいブログ機械学習や数学について勉強した内容を中心に書きます。記事は数学的に厳密でなかったり誤りを含んでいるかもしれません。ご指摘頂ければ幸いです。求める数値計算法で、最急降下法に比べて収束が早い特徴があります。ニュートン・ラフソン法とも呼びます。以下の式で与えられます。解であると考えられます。真の解に近づいていると想定されます。したがって、得られた近似解において、さらに式(3)によってより確からしい近似解を得ることができます。このようにして繰り返し更新することで真の解に近づいていくことができます。図で表すと以下のようなイメージです。