ロジスティック回帰(単純パーセプトロン)ではできなかった非線形分離をできるようにしたニューラルネットワークモデル。u^(l)とh^(l)とし、入力層を0層目とすると各層での演算は以下の式で表される。活性化関数は非線形で微分可能な関数で、計算速度や勾配消失の面でReLUが最有力。sambaiz-net各層の最適なWとbを探すのにロジスティック回帰と同様に勾配降下法を使うことができる。外れ値に引っ張られづらくしたHuber損失などが使われる。出力から入力への逆伝播で誤差の情報を前の層に伝播させていく。これを誤差逆伝播法(Backpropagation)という。出力から遠くなればなるほど連鎖律が長くなっていくが、途中までは後ろの層と共通になっている。いうことで順伝搬時のhを保存しておき一つ後ろの層のWと誤差δを渡してやれば必要最小限の演算で済み、実行時間を短くすることができる。