近所の多摩川がマジで溢れそうでそれどころではなく...。時間が空いてしまったがゼロから作るDeepLearningを読んで実際に実装する作業を再開する。今後、パラメータを更新していくのだが、どういう方針でパラメータを更新するか決めておく必要がある。教師ありデータを使った学習を扱っている訳で、訓練データと対応する教師データが与えられている前提。何かの学習をした結果のモデルの出力と教師データの差を「誤差」として、「誤差」が小さくなるようにパラメータを決めていこうという方針。手書き文字認識で言うところの「認識精度」を指標に使ってしまうと、モデルの出力が微小に変化したところで「認識精度」は微小に変化しない状況が発生する。「認識精度」が変化するときは一気に変化する。これではパラメータをどの方向にずらして良いかわからない。※SVMの解説で非線形分離を行う決定境界を0/1損失で決めることの問題点に通じる。非線形分離を行う決定境界も損失関数により微小な変化に追従して決めていく。2乗和誤差,クロスエントロピー誤差ということで誤差関数を導入する。\(y_k\)はモデルの出力で、最終段でSoftMax関数を通してある。簡単で、正解と出力の差を2乗した値を足す。t_k)^2\end{eqnarray}次にクロスエントロピー誤差。正解をより正解として、誤りをより誤りとして表現できる誤差がより優秀なので、クロスエントロピー誤差の方が適切ではある。クロスエントロピー誤差の方は\(t_k\)がゼロの項はゼロになるので、\(t_k\)が1の項だけ計算すれば良い。正解が1のケースについてのみ誤差値が発生する。y_k\)は\(y_k\)がゼロに近いと急激に値が大きくなる。これにより、\(t_k=1\)なのにゼロに近い\(y_k\)が出力されたときに大きなペナルティを与えられる。クロスエントロピー誤差関数の実装バッチ(並列実行)対応のクロスエントロピー誤差関数。batch_size1次元のデータを与えてみる。0.51082395710071292次元のデータを与えてみる。7.163167257532494バッチ対応が簡単に書けるところがかなり美しい。コメントをキャンセルコメントを投稿するにはログインしてください。勾配の可視化2変数関数\(f(x_0,x_1)\)を各変数で偏微分する。出力層の総和を1にするように調整できれば、出力層を確率としてとらえることができるようになる。入力層に画像を放り込み、出力層でラベルに属する確率を出せば、画像にラベルをつける分類器になる。...MNISTの手書き文字認識用データ取得クラスの作成MNISTから手書き文字認識用のデータセットをロードするクラスを作ってみた。ロードしたデータセットをpickleでシリアライズ、デシリアライズする機能付き。...おっさんが数値微分を復習する引き続き、ゼロDの写経を続ける。今回は、学生の頃が懐かしい懐ワード、数値微分。Deepに入れないけれどおっさんの復習。解析的な微分と数値微分が一致するところを確認してみる。...活性化関数の実装。Step,Sigmoid,ReLU深層学習入門。Numpyだけで伝搬,逆伝搬を計算することで深層学習に慣れていく。自分の理解のためだけの記事なので、誤りがあっても気にしない。(+S3)やりたいことは以下の2つ。x_0},\frac{\p...勾配の可視化2変数関数\(f(x_0,x_1)\)を各変数で偏微分する。この世界に中途半端に金をかけることの無意味さを理解したつもり。そのお...おっさんが数値微分を復習する引き続き、ゼロDの写経を続ける。今回は、学生の頃が懐かしい懐ワード、数値微分。Deepに入れないけれどおっさんの復習。近所の多摩川がマジで溢れそうでそれどころではなく......MNISTの手書き文字認識用データ取得クラスの作成MNISTから手書き文字認識用のデータセットをロードするクラスを作ってみた。出力層の総和を1にするように調整できれば、出力層を確率としてとらえることができるようになる。順伝搬(forward)はNumpyの積和計算を使って超絶簡単に記述できる。どちらの状態でもない過渡状態を経て状態が遷移するみたい。今回知...ansibleでaws-cliをインストやりたいことは以下の2つ。AFFINGER4.。