機械学習とサーバーサイドの開発をしています。緊急情報を検知し、配信する緊急情報配信サービスです。その処理の中でも画像認識は欠かせない存在です。いうニューラルネットのモデルです。行列の空間情報を捉えるため、特に画像認識分野では非常に有効な手法です。解釈性ニューラルネットワークはとても有効な一方、その根拠が解釈しにくいとよく言われています。ニュースの価値を判別するアルゴリズムを改善するためにモデルの判定結果を解釈することは重要です。たくさんの研究や手法が紹介されています。いう判定根拠の可視化方法について実験してみようと思います。される直前まで、位置が変わらないことがわかります。Localization(拙訳)たくさんの研究によって、より深い層ではより高度、豊富な特徴が捉えられると示されています。層は分類特徴と空間情報を両方持つ、可視化に最も利用できる層になります。層の勾配を利用して、どのニューラルのどの部分が出力のどの分類に一番貢献したかを計算します。Pooling)に入れ替えています。(青い四角)より強いのがわかります。重みは強くなるでしょう。Map(CAM)となります。層の入れ替え不要で、逆伝播の時の勾配を利用して、特徴図の重みを実現しています。対する偏微分、もしくは勾配(gradient)となります。判定される確率の影響を表しています。重みと同じになることを論文の中でも証明しています。論文の作者は言ってます。Grad-CAM)ができます。