Minamiリサーチャーの南です。Chuさん、PFN技術顧問の福水健次教授と共同で書いた論文が採択されました。論文リンク本記事では、上記論文の内容を簡単に紹介します。強力な生成モデルです。GANによって自然な高解像度画像を生成できることが知られています。よって生成された画像の例です。転載このように、うまくいけば非常に高品質な画像を生成できるGANですが、その学習は一般にとても不安定であることが知られています。よって、いかにして学習を安定化するかが、GANの研究における中心的な課題となっています。そもそも、安定性とは何でしょうか?GANの学習では、さまざまな「不安定性」が報告されています。モード崩壊は、最適化の用語でいえば、モデルパラメータが悪い局所解にはまっている状態であるといえます。悪い状況として、モデルパラメータがいずれの局所解にも収束せず、発散してしまうことがしばしばあります。このような多様な不安定性をすべて克服した究極のアルゴリズムを作ることができれば、それこそを安定なGANと呼んでもちろん差し支えないのですが、2019年現在、その試みはまだ発展途上にあります。GANの代表的な安定化テクニックをいくつか挙げます。損失関数としてWasserstein距離を利用することにより、前述のJensen–Shannonダイバージェンスでみられる勾配消失現象を克服すべく提案されました。呼ばれる正則化法が提案されています。弊社リサーチャーの宮戸らが提案した技術です。解明されていない点も数多くあります。いう、本来は識別器のリプシッツ制約という共通の目的のもとに提案されたはずの2つの手法が、実は独立な役割を持っていたのではないか、ということを示唆しています。内容について解説します。いう性質に着目することで、代表的なGANの損失関数がもつ安定性、ならびに、各種の正則化手法が与える効果について理論解析を行いました。停留点に収束することを保証できるか」という問いに答えるものです。GANの学習は、ある種の連続最適化アルゴリズムと見なせます。収束することが続きます。このように表現すると、停留点への収束解析というのは、保守的な目標設定であるように感じられます。裏を返せば、GANの設定では、アルゴリズムの出力がいずれかの点に収束するということさえ、保証する理論が全くないのが現状です。停留点に収束するためには、目的関数が平滑であることが十分条件となっています。そこで、今回は「GANの目的関数は平滑であるか?」という問いについて考えてみます。して定式化されています。ここで仮に、識別器が常に最適解を返すという前提をおくと、GANはデータと生成器のあいだのダイバージェンスを最小化するアルゴリズムであると解釈することができます。1-Wasserstein距離に基づくGANということになります。合成して得られる関数とみなすことができます。我々はまず、ダイバージェンス最小化に基づく一般化されたGANの目的関数が平滑であるための十分条件を導出しました。我々の理論では、平滑性を保証するためには、「1次の滑らかさ」「2次の滑らかさA」「2次の滑らかさB」というべき3つの条件を調べればよいことがわかります。典型的なGANの損失についてこれらの条件を調べてみると、次のような結果になります。1次の滑らかさ条件を満たさないため、目的関数全体として平滑になる保証がない。1次の滑らかさ条件を満たすが、2次の滑らかさ条件を満たさないため、やはり平滑になる保証がない。損失とした手法は、滑らかさの条件をすべて満たすので、アルゴリズムの安定性を保証できる場合がある。典型的なGANの損失関数が安定な学習を導く保証はないということがわかります。GANをなめらかにするそこで、次に考えるべきことは、正則化によって平滑性を保証できるかどうかです。これについては、おおよそ次のような結果が得られました。識別器に対するリプシッツ制約によって、損失関数の最適解を変えないまま「1次の滑らかさ」を導入することができる。nornalizationに対応している。識別器を滑らかなものに制約することによって、損失関数の最適解を変えないまま「2次の滑らかさA」を導入することができる。nornalizationに対応している。RKHSノルムによる正則化項を加えることによって、損失関数の最適解を変えないまま、「2次の滑らかさB」を導入することができる。penaltyを課すことが2次の滑らかさBに近似的に対応している。条件に寄与する」という実用的なメッセージを支持しています(つまり、どちらか一方ではなく、両方同時に使うのがよいということ)。前述のとおり、このことは専門家の間で知られていた経験則とも合致しています。ちなみに、本論文の個人的に気に入っている点は、理論の背後にある数学も面白いということです。利用して得られました。上の最適化問題が現れるため、結果としてmin-maxゲームの設定が復元します。呼ばれる操作に対応しており、これを使って本論文の全ての結果を統一的に説明することができます。normalizationとしての実装が自然に見えてきます。penaltyのような正則化が得られます。おわりに本研究は全てPFN夏季インターン期間中に行われた成果です。インターン生との日々の議論では、凸解析、カーネル法、最適輸送など、各自が色々な数学を持ち寄って理論解析と執筆が進んでいき、メンターとしても知的に充実した時間を過ごすことができました。インターンの成果物がここまで数学的な内容になったのはなんとも貴重な経験でしたが、今回無事にトップ会議に通すことができ、とても嬉しく思います。Chuさんからも、2019年PFN夏季インターンについて下記のコメントをいただきました。国内外から募集を行う予定です。一足先に、海外インターン生の募集を開始しています。感じた方はぜひご応募ください。例年のとおり、日本国内の学生を対象としたインターンも募集します。こちらの募集要項は今春以降に公開する予定ですので、ぜひご応募ください。平滑性とは、正確にいうと、目的関数の勾配がリプシッツ連続であるという条件です。MMD損失は滑らかさを決定する定数の次元に関する依存性が悪い場合があります。詳細は論文を参照してください。分散処理、専用ハードウェア、バイオインフォマティクス、ケモインフォマティクスといった幅広い分野で研究開発を行っています。