詳しく見てみると、と連鎖律を使って変形できます。3つの微分をそれぞれ見てあげると、1つ目はRBFの微分を思い出すとと書けます。置いたので、となります。求められることがわかります。このように逆向きにエラーを計算していき重みを更新していく手順が逆伝播になります。gradient_weight_hiddenとしてPythonに落としたコードが次になります。grad_hidden実際にバックプロパゲーションで重みを更新してみるでは既に定義した関数を使って実際にバックプロパゲーションを実行してみます。バックプロパゲーションのイテレーション一回分の更新を行う関数を定義します。重みを更新してあげるだけです。d_wo.sum())最後に、このbackprop_update関数を繰り返し呼び出して重みを更新していきます。学習率は最初は大きめに、イテレーションが進むにつれて小さくなるようにしてあげています。元記事ではイテレーションを50回走らせていましたが、手元の環境だとうまく学習できなかったのでイテレーションを30回にしてあります。