ステップを繰り返すことで生徒モデルの精度をさらに向上させられていました。上の表では3回繰り返した場合までしか報告されていませんが、さらに繰り返した場合にさらに精度向上できるのかどうかは気になるところかと思います。蒸留を複数ステップ繰り返すという操作が常に一定の精度向上の効果を持つのか、持つ場合にそれはどのような理論的背景によるのか、は今後の研究に期待できるところかもしれません。今回は、蒸留の応用例を紹介しました。蒸留によるモデルの精度向上について詳細に紹介し、蒸留がモデル圧縮以外の面でも実用的な技術であることを紹介できたかと思います。ニューラルネットワークの蒸留についての連載記事は今回で最後となります。次回は、ディープラーニングにおけるドメイン適応を紹介します。ある1つのドメインで学習できたとしても、そのモデルは異なるドメインでも同様に高性能であるとは限りません。異なるドメイン間の差異を乗り越えるドメイン適応は、モデルの汎用性を考える上で重要な技術です。