2ステップ目以降では、前のステップの生徒モデルを教師モデルとして蒸留。画像認識および言語モデリングの領域で実験・検証しています。よって、通常の教師あり学習で訓練された教師モデルを凌ぐ精度の生徒モデルが得られたことが示されています。題材にした実験とその結果について触れます。採用しており、結果は以下の表の通りです。ごとのエラー率が報告されています。エラー率を掲載しています。よって教師モデルを超える精度の生徒モデルが得られたことが見て取れます。よって精度は平均して1程度向上しています。向上率を見ると、精度は平均5.8%程度改善しています。高精度な教師モデルからの蒸留によって、より高精度な生徒モデルが得られる傾向が見られていました。列を再び見ると、教師モデルの精度が良いと生徒モデルの精度も良いということが分かります。エラー率を掲載しています。