ConvNets~本日はPruningによるネットワーク高速化の論文を取り上げます。背景としてはディープニューラルネットワークではConv層の計算量やパラメータ数が膨大で、処理時間増大やメモリ圧迫が生じるのでなんとかしたいというところから来ていますね。ディープラーニングを組み込みで動かす場合はこのあたりの話はかなりシビアに効いてきます。Graf・Pruningによる高速化手法。・Conv層をカーネルごと削減する手法を提案。・L1ノルムが最小のカーネルを有効性が低いと仮定して削除する。・既存のBLAS等のライブラリで実現可能。・Residualを出力するConv層を基準に削除次元を選定すると良いとのこと・ランダムにカーネル選定するよりはL1を用いた方がわずかに良かった・Layer別にPruning時の性能低下率と速度向上率を検証。・性能低下を招きやすいLayerや、速度向上しやすいLayerがあることを示した。所感カーネル選定手法はまだまだ議論の余地はありそうですが、ポピュラーな構造のネットワークについて丁寧に検証されている論文でした。コメントをキャンセルメールアドレスが公開されることはありません。コメントデータの処理方法の詳細はこちらをご覧ください。京都の某メーカーにて機械学習・IoT・ビッグデータを扱う。