我々人間は英語の文と、それを翻訳したフランス語の文の関係性を容易に認識する事が可能である。スーツの上着を見たらそれと対になる同じドメインの服や靴を選ぶことができる。このように、2つのドメイン間の関係性を認識することは人間にとってはたやすくも、コンピュータにとっては非常に難しい問題となっている。2つのドメイン間の関係性を認識することは、一方のドメインに存在する画像からもう一方のドメインに適合する画像を生成するという問題に置き換えることができる。この問題を解くためには、関係性を示した画像のペアを膨大に用意する必要がある。一方で、ドメイン間で対になっている画像は通常手に入らない。仮に手に入ったとしても、1対多の組になってしまうことも起こりうる。事前学習が不要な学習モデル提案手法DiscoGAN従来のGANのモデルの問題を(a)に示す。従来のGANの手法では、入力画像からGeneratorを通すことで、別の集合に似せたフェイクの画像を生成する。その結果を教師データと組み合わせてDiscriminatorの入力とするが、この時同じドメインに属する画像の集合であっても変換前と変換後の画像を対応付ける必要がある。次に、提案手法を導入した場合を(b)に示す。一方のドメインに属する画像をGeneratorに入力すると、他方のドメインに属する画像に変換する。B->A)を利用することで、双方向の変換が可能になる。ネットワーク設計DiscoGANのネットワークの概要を下記に示す。(a)に一般的なGANのモデルを示している。乱数を入力としてMNISTのような画像を出力していた。ドメインAとドメインBを対応付けたものを(b)に示す。このモデルではA->Bへの変換とB->Aとを組み合わせることで、画像をもとのドメインAに戻す。提案手法では、(c)のように上記のモデルを対にすることで2つのドメインの双方向の変換を可能にする。LossDiscoGANでのLossは下記のように表現される。Lossと呼んでいる。Lossを付加した形となっている事がわかる。Loss通常のGANでは、Generatorが出力した画像をDiscriminatorに入力して画像が教師データであるか複製データであるかを判断させることで学習を行う。Lossは下記のように示される。Loss下記のように変換を行う場合、入力画像は変換を経てもとのドメインに戻ることになる。これと入力画像の差分を計算することでLossとして取り扱うことができる。厳密に同じ画像に戻るわけではないことを考慮すると、下記のようになる。Collapse問題にも提案手法は有効となる。下記の図のような変換が行われる。(a)のように同じドメインの画像から別のドメインに属する画像を生成する。Collapseの現象が発生した場合は(b)のように単一の画像しか生成できなくなる。Collapseに対して有効となる。lossを使用したGAN、そして提案手法を使ったGANに関する単純評価を行う。modelsによってサンプルを描画する。学習した結果について下記に示す。表しており、等高線はDiscriminatorの出力値が同じ部分を示している。'x'印はドメインBの異なるサンプルを表している。色付きの◯はドメインAからドメインBにマッピングした結果を表しており、その色は入力のサンプルを表している。上図の(a)は初期状態を表す。ドメインAのモデルがすべて同一地点に対してマッピングされている事がわかる。出力がドメインBで同じサンプルの近くにマッピングされている。多対1のマッピングになってしまっている事がわかる。モデルに収束している。等高線を確認すると、初期状態に比べてBの異なるモデルの周囲に等高線が確認できる。(B)と(C)の両方に共通してマッピングが単射になっていることが確認される。collapseは見受けられず、さらにマッピングも全単射になっている。この結果から、従来の手法より関係性を柔軟に学習したマッピングが可能になっている事がわかる。評価はの条件は下記の通りとなっている。CAR3Dの車のモデルに対してカメラの位置を15°ずつずらした画像に関して評価を行った結果を下記に示す。※入力の角度に対して、教師データは中心で反転させた画像(鏡イメージ)となっている模様。横軸が入力の画像の回転角、縦軸が変換後の画像の回転角を表している。lossを使用したGAN(b)、そして提案手法のDiscoGAN(c)に関する結果を示している。(a)(b)については赤の点がいくつかのクラスタを形成してしまっている事がわかる。collapseが発生している事がわかる。提案手法では、角度に対して均等に生成画像の角度が分布している。このことから角度の関係性を正しく認識できていると考えられる。FACE次に、上と同様に人間の顔でも同様の評価を行った。lossを使用したGAN、そして(d)が提案手法のDiscoGANに関する結果を示している。collapleが回避できている。多数の特徴が共通する場合の変換selebAデータセットを使用して、人間の顔が特徴を維持したまま変換できるかを検証した結果を下記に示す。概ね特徴は維持できていることが確認できる。椅子から車への変換、車から顔への変換の結果を下記に示す。画像は角度を維持して変換されて生成されており、関係性を十分に認識できている。PHOTOS線画から写真への変換の結果を下記に示す。写真の色が無数に取りうる状況であっても変換できている事がわかる。HANDBAG冒頭の画像が結果となっている。概ね正しく変換できている。結論ドメイン間の関係性を自律的に学習するDiscoGANを提案した。これにより明示的に画像にラベルを付与することなく学習が可能になる。DiscoGANによって構成度の画像生成が可能であることが評価によって示された。今後の方針の一つとしては、Conditional系のGANとの組み合わせが考えられる。感想CycleGANとそっくり。tsunotsuno.hatenablog.com(個人的メモ)CycleGANとの違い:Lossのとり方DiscoGANはこんな感じに別々に考える。CycleGANはこんな感じに一括して考える。(1)月別アーカイブはてなブログをはじめよう!nogawanogawaさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。