手を焼いている『パターン認識と機械学習』(以下,PRML)も,やっとのことで上巻の最後までやってまいりました。読むまではなんとかなるんですけど,問題を解いたり演習用のプログラムを作ったりしていると,どうしても時間がかかってしまう。あたしゃ理論家ではなくて,動くものを作ってナンボなところがあるので,口だけ番長ならんためにもチマチマ作っています。読んで理解していたつもりでも,プログラムを作ってはじめて理解できるところもあるわけで。上巻の最後はニューラルネットワーク(NN)。原書は分冊になっていないので,全体としてみたら特別な区切りとはいえないんですけれど,個人的には一息つける区切り目です。有名すぎるほど有名な近似アルゴリズムで,非線形な関数もバシバシ近似してしまう強力な道具です。関数(ハイパーボリックタンジェント)や(ロジスティック)シグモイド関数。正確には,両者は同じもんなんですが。関数やシグモイド関数を使うのはどうしてなんだろう,と思っていたのでした。本書を読む前に,他の資料をあたったんですけれど,なんか当たり前のように使っているもんで,理由がよく分からなかった。まじないかなんかの類かと。読んだところ,こんな風に書いてあった(数式は簡体で)。p246.あー......逆伝播(Backpropagation)するとき勾配(微分)を評価するのに,簡単な方がやりやすいじゃんってことなのか。