機械学習では、訓練データとテストデータの違いによって、一部のテストデータに対する精度が上がらないことがあります。Birds-200-2011)データセットに対する画像認識の問題が挙げられます。水辺の鳥が写っている画像は背景が水辺のものが90%、野原のものが10%野原の鳥が写っている画像は背景が水辺のものが10%、野原のものが90%となるように分割します。このときに、訓練データの中で「背景が野原で水辺の鳥」の画像や「背景が水辺で野原の鳥」の画像が少なく、同じようなテストデータに対して精度が上がらないことがあります。accuracyと呼ぶことにします。accuracyは低くなりがちです。accuracyを上げる最適化手法について説明されています。パラメータの多いニューラルネットワークがよく使われる画像認識や自然言語処理などのタスクに対して同じような最適化手法を適用でき、今後も広く使われる手法かもしれません。この記事では論文で説明されていた手法について、簡単に概要を説明しようと思います。optimization"とは?訓練データよりも多くパラメータが存在するニューラルネットワークでは、学習データにおけるロスの消失による過学習が問題となっていました。groupに対しては、依然汎化誤差大きいままになってしまいます。optimization(以下DRO)です。DROは一言で言えば最も大きいロスでの最小化です。groupの平均のロスとなります。\(Q\)が表すのが分類する各グループ\(g\)ごとの分布の線形結合となるのですが、最小化は線形計画法のアルゴリズム(単体法)で行われます。groupのみの分布における最適解と一致します。groupの分布では平均のロスが最も大きくなります。DROはその分布でのロスの最小化を目的とするアルゴリズムだと言えます。accuracyの向上が目的です。groupの精度を向上させているのでしょうか?次節からはその具体的な手法について説明します。decay)が挙げられます。様々な機械学習の中で使われている手法であり、例えば有名なものではL2正則化が挙げられます。accuracyが上がるということが述べられています。decay)が手法の1つとして考えられます。stoppingが挙げられます。stoppingが有効だと言えます。検証それではDROの検証結果について見てみましょう。ベンチマークとしてERMモデルとの比較を行います。最初に述べたCUBのWaterbirdsの分類タスク(ResNet50による)の他に、CelebAデータセットにおける髪色の分類タスク(ResNet50による)と、MultiNLIデータセットにおける自然言語推論タスク(BERTによる)で比較しています。accuracyは以下のとおりです。accuracyが大幅に低下するのを防いでいることが確認できると思います。CelebAに関してaccuracyの収束性についても見てみましょう。decayを用いたDROがそれぞれのグループで他の手法よりも良い収束性を持つことが確認できます。DRO)についても述べられています。ハイパーパラメータ\(C\)を用いた正則化項を付け加えるアイディアです。\(n_{g}\)の平方根の逆数を掛けることで、グループごとのデータ数を考慮した汎化をおこなうことができるようです。DROのaccuracyは以下のようになっています。accuracyにおいてさらなる改善が見られますね。バリデーションによって\(C\)の値さえうまく決めることができればかなり役に立つ手法だと言えます。weightingという従来手法が存在します。これはロスに重み付けした上で最小化を行う手法です。accuracyを上げる手法だそうです。こちらについてもベンチマークを見てみましょう。accuracyが上がっていますが、DROほどではありません。accuracyの向上に有効だと言えます。終わりに今回紹介した論文では訓練データとテストデータの分布の違いを考慮した手法であるDROについて簡単に紹介しました。accuracyを大きく上げたという点でより注目される手法だと思います。このように正則化をすると精度が向上するのかという問いに対する明確な答えがまだない状態です。accuracyが上がる数理的なメカニズムが解明されれば、様々なモデルで汎化性能の向上が期待できるでしょう。