PyTorchAdamの収束の速さとSGDの汎化性能の良さの良いとこ取りなoptimizerである、AdaBoundとAMSBoundをラーメン二郎データセットの転移学習に対して試してみました。設定で追加検証した結果を記事末尾に追記しました。試した中では、AdaBound(final_lr=0.5)が最も良い結果となりました。組み込んで試しました。学習データセットラーメン二郎データセットは現在約9万枚あり、すべて利用して学習すると時間がかかるため、各店舗500枚に限定した縮小版の二郎データセットを用意して利用しました。pytorch付属のoptimizerを利用しています。転移学習における値としては高めな値と感じるかもしれません。[30,60,90]のそれぞれの組み合わせについて(各1回だけですが)試した結果、上記設定が最も正解率が高かったため採用しています。0.0023AdaBoundが最も正解率が高く、ばらつき(標準偏差)も少ない結果になりました。AMSBoundもSGDより良い結果になっています。