そんなことをするのか?・・・前述の勾配消失の説明を思い出してほしい。DLでは深い層にいくほど、入力と出力の差が小さくなる、つまりH(x)はxに極めて近い値になる。有限なNNによる非線形写像であり、綺麗にxに近づけることは難しい場合が多い。NNで表現して写像すれば良いのではないか、という理屈が成り立ちそうだからである。(これがこの論文で実証したい中心仮説である。)これを実装するには、F(x)を直接計算しようとするよりも、下図のようなショートカット接続をネットワークに導入すれば良い。layer(NN階層)はF(x)を学習する形になる。ResNetの実装例(34層)。そのようなことはなく、層を増やせば増やすほどエラー率が低下する傾向となっている。18層と34層を比較した結果が図3である。従来方式だと34層のほうが18層よりエラーが増えてしまっている。ResNetでは34層の方が良い結果となっている。邪魔されることなく学習が可能で、さらにエラー率が低下することを確認しているそうである(訓練誤差0.1%、テスト誤差7.93%)。この手法の登場により、理屈の上では飛躍的にDLの階層を増やせることになった。計算量は膨大になっていくが、計算機にお金を掛けられる人達であれば、どんどん階層を増やして精度を上げられるのである。画像のパターン分類のようなタスクであれば、人間を超える認識精度に達していると言われるDLであるが、さらなる精度向上が何をもたらすのか興味深い所である。Learningの勉強をしています。以下、論文...2017-07-20メモ:xavier_initializer_conv2d()とは何か?TensorFlow(DeepLearning)を今日も勉強中。dhSegment:文書セグメンテーションのための包括的ディープラーニングアプローチ』(遅報告)FPGA+ディープラーニングの論文を書きました。月別アーカイブはてなブログをはじめよう!terada-hさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。