いうコンセプトで蒸留が実現されています。Learning教師モデルから生徒モデルによりよく知識を継承させるために、教師モデルと生徒モデルの最終的な出力におけるマッチングだけでなく、両者の中間層における出力のマッチングをおこなうことがあります。2014]で提案されています。取ることで、中間層マッチングを実現します。見られるパディングの調整を行なうことで、同サイズの中間層を得ています。工夫をまとめて全体像を見渡すと、以下の図のようになります。下表の通り、教師モデルから蒸留した方が、蒸留をしなかった場合よりも精度が良いことが報告されています。それぞれがすべて精度向上に有効であったことも報告されています。