論文の解説記事を書いています。画像認識で利用されるニューラルネットワークの一種です。関する理解を深めていこうと思います。22,000カテゴリ)に対して、画像の分類精度を競うコンペティションです。年まで、毎年開催されていました。画像全件を利用しているわけではなく、分類するカテゴリ数に基づいて以下の二つに分けられています。関する説明になります。コンペティションのサマリは以下にまとめられています。要約ざっくり、押させておくべき点は以下の通りかと思います。SVM』に大差を付けて優勝を飾った年です。10%と非常に大きな値を付けたこと、手法が『人工知能』というキーワードと合うものであったことから大きな注目を浴びました。モデルが考案されて精度の向上に寄与し続けることになります。生物の脳の視覚野に関する神経科学的な知見をもとに考案された手法(Neocognitron)が原型となっています。超える被引用数を持つ非常に有名な論文です。5つの畳み込み層を持ち、間の3つのプーリング層で特徴を圧縮、最後に3つの全結合層を通ることで最終的な出力を得る構成になっています。初期重みはガウス分布に従って初期化され、モメンタム付きの確率的勾配降下法(SGD)によって損失を最適化していきます。ロスの低下が小さくなった際に学習率を低下させる処理も行われています。これらのテクニックは2019年現在においてもベストプラクティス的に利用されており、原型としての手法はこの段階で確立されていたことがわかります。導入され、以降の研究においても利用されている重要な要素技術を紹介します。exp(-x))が利用されていました。近付くほど値の差が減るため、深いネットワークを構築すると勾配が消失してしまう問題がありました。x)とすることで深いネットワークに対する勾配消失問題を解決しています。現在ではいくつか発展系の活性化関数も提案されていますが、最新のモデルにおいても広く利用されています。Dropout学習時のネットワークに対して、層の一部を一定確率で無効化する手法です。確率的に層の一部をなくすことで、擬似的に毎回若干異なるネットワークで学習を行うことになり、アンサンブル学習と類似した効果を得ることができるため、より汎化した性能を獲得することができるとされています。利用することで過学習を抑えることができたとの報告があります。一方で学習にかかる時間も多くなることもまた、報告されています。以降は次の記事にて記載します。理解する2はじめに本記事は連載物の第二弾です。前回の記事を読んでいない方は以下からご参照ください。上回り、優勝しまし...anieca.work2019.12.30引き続きよろしくお願いいたします。本記事は連載物の第二弾です。前回の記事を読んでいない方は以下からご参照ください。文字の検出と認識を同時に行う「CCN」を動かしてみたこんにちは。Networks」というモデルを動かしてみました。ソースを公開しています。本記事は連載物の第三弾です。前回の記事を読んでいない方は以下からご参照ください。