種類のクラス分類をすることが求められます。クラス分類タスクでは、先述したように、バックグラウンドクラスがデータ数の多くを占め、物体/バックグラウンドを確実に識別できることが重要になります。関する損失において、バックグランドクラスに比較的大きな重みを置くことで、クラス数のインバランスによる物体/バックグラウンドの誤識別をより抑制しています。loss単純な分類タスクに対する蒸留の方法を踏襲して、回帰タスクである物体座標検出についても、教師モデルの出力をターゲットとして、それとの誤差を最小にするように生徒モデルを学習すればよさそうです。分類タスクとの違いは、出力が実数値を取ること、よって二乗誤差など実数値に対する損失関数を使用することくらいしかなさそうに思えます。物体検出の回帰タスクにおける蒸留について、教師モデルの出力をそのままターゲットとして使用することは不適切であると報告されています。実数値を取る教師モデルの出力は上限下限がなく大きく間違う可能性があり、生徒モデルの更新を正解ラベルとは全く違った方向に導くこともあり得るため、ターゲットとして使用するには適さないと理由づけされています。代わりに、生徒モデルが教師モデルよりも大きく間違った場合に、追加の損失を加えるという形で、教師モデルの出力を利用しています。それぞれ生徒モデル、教師モデルの出力。