)内は蒸留なしからの差分。2017]上の表を元に、モデル圧縮と精度のトレードオフを考察します。実験結果を元に、それぞれ可視化したものが下図です。80%程度の精度を保っていることが分かります。30倍以上の実行速度で、80%の精度を得られていることが分かります。実験より、パラメータ数と精度を比較VGG16に対する比を掲載また、蒸留の過程で、生徒モデルに入力する画像の解像度を落とした実験の結果が報告されています。この実験では、教師モデルと生徒モデルに同一アーキテクチャを採用し、教師モデルの入力は元の高解像度のまま、生徒モデルの入力を低解像度にして、蒸留をしています。匹敵する精度であったことが報告されています。表にも見られる通り、高解像度である方が物体検出は高精度で、低解像度あると精度を著しく損ないます。蒸留という形で高解像度入力の教師モデルの出力を手がかりとして使えると、精度の低下を抑えることが可能であると考えられます。物体領域の座標の検出について、低解像度入力の生徒モデルは検出の精度が低下しますが、蒸留を施すと、より正確な教師モデルの出力を手がかりとして、それより誤差の大きい場合には損失を追加して学習するため、蒸留のない場合と比較して、より正確な出力を学習するようになると考えられそうです。左から、高解像度入力モデル(教師モデル)、低解像度入力モデル、低解像度入力モデル(生徒モデル=蒸留あり)。2017]低解像度入力の蒸留で訓練された物体検出モデルは、解像度の低さのため畳み込みの計算が減り、高速に推論することができます。そのため、推論の速度が重視される本番環境においては、特にメリットが得られるでしょう。今回は、蒸留について、その端緒であるモデル圧縮に関連した研究の代表例を、分類・回帰のタスク別に紹介しました。回帰タスクについては、教師モデルの出力を時には直接使わない等の工夫を施すことで、蒸留が物体検出のモデル圧縮にも応用可能であることを紹介しました。次回は、モデル圧縮を超えた蒸留の発展的な研究について、個別の研究をいくつか参照して、蒸留の応用先の広さを具体的に紹介していきたいと思います。