resultsarxiv.org構成と流れは以下の図のようになる。TeacherモデルとStudentモデルは同じ構造をしている*1。costSoftmaxCrossEntropyを用いている。すると以下のように書ける。※この論文ではMSEを使ってるがKL-divergenceなどでも良い。noiseを、中間層ではDropoutをノイズとして扱っている。以下の式のようにした。costを近似できる。総コストは以上2つのコストの加重合計としている(詳しくは以下)。costのみを用いる。することでラベルなし画像もうまく学習に組み込むことができるため半教師学習であると言える。TRAININGarxiv.org今までは教師なしデータに対して、何かしらの摂動・ノイズ(例えばガウスノイズとかDropoutとか)を加えた。それらをモデルに入力した時の出力が(差の二乗和やKL-divergenceなどを使って)ばらつかないようにするというものであった。augmentationを用いる。Augmentを、学習と同時に行う手法らしい。augmentationを用いたらより優れている結果がでたらしい。Learningarxiv.orgここではバッチサイズを教師ありデータを教師なしデータをとします。augmentationを行い新たな画像を作る。augmentation後のラベルなし画像に対して、モデルでラベルを予測する。augmentation後のラベルなし画像はK個あるので、K個分モデルで予測することになる。step4step3の予測値を平均する。step5step4で出力した平均値をSharpen(エントロピーを小さく)する。TはハイパーパラメータでT→0でonehotに近づくようになっている。