Learningニューラルネットワークパーセプトロンの章ではパラメータを手動で設定していたニューラルネットワークはデータから自動で適切なパラメータを学習できる入力層・中間(隠れ)層・出力層に分かれる。2層では第0層が入力、第1層が中間、第2層が出力。パーセプトロンのバイアスを図示する重みがbで入力が常に1の信号パーセプトロンの式を変換h(x)は入力が0を超えたら1を返す関数。w2x2)に変換h(x)は活性化関数と呼ばれる。閾値を境に出力が変わるパーセプトロンは、活性化関数にステップ関数を用いている、と言えるNumPyの配列に不等号を演算を行うとboolが返ってくる。それをintにすればステップ関数になる。出力が入力の定数倍になるものは線形関数ステップもシグモイドも非線形。ニューラルネットワークでは非線形を活性化関数として使う必要がある。層を重ねる恩恵を受けるため。ReLU関数0以下なら0を返し、0より大きければ入力をそのまま返す。入力をそのまま出力する回帰問題では出力層の活性化関数にこれを使う2クラス分類ではシグモイド、多クラス分類ではソフトマックス分類問題データがどのクラスに属するか回帰問題データから予測を行う(写真から体重を当てるなど)ソフトマックス全ての入力から影響を受けるすぐオーバーフローするので実装する際は、入力の最大値を引くなどの対策をする出力の総和が1になる確率として扱える各出力間の大小関係は変わらない。無駄な計算資源使わないために推論時は省略する。