これには整備されたデータセットを使用して入力画像と出力画像のマッピングを学習させる必要がある。多くの場合トレーニングデータが利用できない場合が多いという問題がある。学習プロセス学習の考え方の概要について下記に示す。上図のように、提案手法では二種類の画像の集合をX、Yに対してX➝Y、Y➝Xの変換を行うGeneratorを用意する。加えて、双方に対応するDiscriminatorも2つ用意する。Loss)を考慮する。ネットワーク全体でのlossを下記に示す。上記のlossを下記の目的関数を満たすように学習を行う。全体の構成の概念図を下記に示す。D2)を組み合わせて学習行う。そのため、入力は常に画像となる。Lossについて下記に示す。(G)が画像を生成した際に生じるlossを表す。Lossについて下記に示す。(G)が生成した画像を入力画像に戻した際に生じるlossを表す。Lossでは、循環して生成された分布を教師データと比較させることで、lossを算出する。Lossを求める際にはDiscriminatorは使用しない。実装は下記の論文を参考にする。https://arxiv.org/abs/1603.08155ビルディングブロックとしてストライド2の畳み込み層、いくつかの剰余区画そしてストライド1/2の畳み込みを組み合わせて使用する。128×128の画像に対して6層ネットワーク、256×256の画像に対して9層ネットワークを使用する。Discriminatorとして、70×70のPatchGANを使用する。strategyを採用する。使用する指標を下記に示す。studiesGeneratorによって生成された画像と教師データを被験者に見せ、どちらが本物であるかを当てさせる評価。地図と航空写真の変換を対象とする。score全結合によるニューラルネットに画像を判定させる評価。路上の車の写真とラベルの変換を対象とする。metrics写真からラベルへの変換を対象とする。5つのモデルと提案手法を比較する。pix2pixを除いて先行研究より高い精度の画像認識精度が達成されている。(※)実際にGeneratorによって変換された画像を下記に示す。先行研究よりもより高い精度で変換できていることが分かる。※pix2pixでは入力に対応する教師データを1対1で用意するため、精度が高いと考えられる。写真からラベル付け、線画から写真の生成もpix2pixと同様に提案手法によって可能である事がわかる。transfer描画の手法の自動変換も可能である事がわかる。過去の絵画から当時の情景を表現することが可能だと言うことが分かる。写真内部の季節や物体を別のものに変換できると言うことが分かる。着目する物体の周りをぼかすことで対象物を強調する変換画家のということが分かる。写真を入力に有名絵画に似せた絵画を作成できるということが分かる。先行研究で失敗している部分についても変換できていることが分かる。変換がうまくされないものもある。画像生成をうまくいかない場合がある(Generatorの改良による表現力の向上が必要)馬に人が乗ったケースは少なく、変換に失敗している(教師データの多様性が不可欠)ラベル付けが曖昧になりがち(半教師無し学習が必要の可能性)実装いろんな人のを継ぎ接ぎして参考にした実装はこちら。全体はgithubをご参照下さい。丸3日かけて頑張って計算しても、20epochちょいしかいけなかったので、そこで打ち切りました。いうことで、残骸を乗せておきます。左側が入力画像で、右側が出力画像です。上段は入力画像がそもそもイケてないので変化が見られませんが、なんか頑張ってるのは伝わります。下段はそれなりにまともな画像なんですが、シマウマはシマウマのままです。馬に変化するにはもっと時間が必要のようです。論文の評価以降はあんまり興味ないので、結構すっ飛ばしました。良いということは理解したので、だいじょうぶかと。