translationの進歩がめざましい一方で、拡張性に乏しい問題がある。2種類以上の変換にはペアごとに独立したモデルが必要だったため、多対多の変換は難しいという問題がある。提案手法StarGANStarGANの学習の概念図を下記に示す。StartGANのDiscriminatorは、教師画像とGeneratorが生成した偽画像の二種類を入力とし、1画像が本物かどうかと2ドメインがただしいかどうかを判定する。Generatorは入力としてもととなる画像と変換先のドメインを表すベクトルを入力とし、該当ドメインの画像を出力する。Generatorによって生成された画像を元画像のドメインに向かって再度Generatorで変換し、元画像と生成画像との差分も考慮する。LossStarGANでの損失関数を下記に示す。LossDiscriminatorの入力が教師データか生成した画像かを判定するLossを下記に示す。Lossを下記のように改良したものを使用する。LossDiscriminarの入力画像が正しいドメインに含まれているかを表すLossについて、教師データを使用してDiscriminatorが正しいドメインを判定するためのLossについて下記に示す。一方で、Generatorが正しいドメインに向けて画像を生成できているかを判定するLossを下記に示す。Loss入力をGeneratorによって2回変換することでもとのドメインに戻した際の入力画像との差分を表すLossを下記に示す。Vector異なるデータセットを取り扱う際には、ラベルの形式も問題になる。CelebAでは髪の色や性別のラベルが付いているが、RaFDでは"嬉しさ"や"怒り"などの感情のラベルがついており、それぞれ異なる形式のラベルとなっている。Vectorを下記のように定義する。vecotorとなっている。使用しないラベルについては0-Fillする。これによって、使用するデータセットに関するドメイン情報についてのみ学習し、別ドメインの情報を無視した学習が可能になる。decay)CelebACelebAに関する評価結果を下記に示す。クロスドメイン(1,2段目)のものと比較して、提案手法が精度が高い画像が生成できている。原因の一つとには、クロスドメインでは過学習によりドメイン変換に失敗していることが挙げられる。マルチドメイン(3段目)と比較すると、表情等の保存ができている。(AMT)に関して評価する。これは、比較対象の4種類の手法の画像をシャッフルし、それを被験者に見せてどれが最も正しく変換されているかを選んでもらった統計値を表す。クロスドメインの値を下記に示す。StarGANでは他の手法よりもAMTの値が高く、先行研究より優れた結果が得られている。マルチドメインの値を下記に示す。クロスドメインでは性別に関する変換がDIATと同程度であるが、マルチドメインでの評価で性別と年齢を同時に変換する際には、提案手法の複数ドメインを考慮した変換の有効性が顕著に現れている。RaFD次に、RaFDで表情の変換に関する評価を行う。生成された画像を下記に示す。先行研究と遜色ない画像が提案手法で実現されていることがわかる。この時、学習データとしてDIATやCycleGANでは各ドメインごとに500枚の画像を使用したが、提案手法では合計4,000枚の画像を使用し、それでも同程度の変換が可能であることがわかる。次に、ResNetによるドメイン分類のエラー率に関する評価結果を下記に示す。使用したResNetでは99.55%の分類の精度が確認されている。提案手法はエラー率が最低になっており、先行研究より高精度の画像変換がなされていることがわかる。CelebA+RaFD最後に複数のデータセットを使用した際の評価を行う。単体のデータセットで学習した場合と、複数のデータセットを使用して学習した場合の生成画像を下記に示す。単体のデータセットで学習した場合のほうが、やや画像がぼやけている。これは、学習時にCelebAを使用したかどうかが影響していると考えられる。vectorの妥当性について検討する。vectorの有無で分けた画像を示す。vectorを適用した場合、下段が不適切に使用した場合を示す。vectorにより、別ドメインの特徴が反映されていることがわかる。結論マルチドメインでのImage-to-Image変換を可能にするためにStarGANを提案した。StarGANにより、先行研究よりも優れた画質の画像を生成が可能になった。シンプルなマスクベクトルを使用することで、異なるラベルのデータセットに対しても提案手法が適用可能であることを示した。これをLINEは何に使うんでしょうね。(1)月別アーカイブはてなブログをはじめよう!nogawanogawaさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。