score・R-precisionともに向上している。lossが細部まで正しく描画するGeneratorに対して有効であることがわかる。modelが有効であることを評価する。scoreにつながることがわかる。中間生成物について考察する。中間生成物を下記に示す。上段がgeneratorが単純に出力したもので、文単位のベクトルを使用して作成されたものである。単語レベルのベクトルを使用した場合が右で、徐々に精細な画像になっていることがわかる。小領域について着目すると、単語の意味と該当する箇所が紐付けられていることも確認できる。(下段、スポットライト)そのため、細部の小領域に焦点を絞って画像を生成することが可能になり、より文意を反映した画像生成が可能になっている。Generalizationability初見のテキストからの画像生成について評価する。生成した画像について、下記に示す。生成された画像から、かすかな意味の違いを正しく反映できていることがわかる。現実世界ではめったに起こりえないようなシチュエーションについても正しく反映できているように見受けられる。一方で、現実的でない画像も生成されている。下の図では、2つの頭をもつ鳥の画像が生成されてしまっている。scoreの値について下記に示す。scoreが、提案手法によって4.36まで向上する事がわかる。COCOにおいては、先行研究が9.58だったものが、提案手法によって25.89まで、170%以上の向上が見られた。本論文では細かい粒度でのText-to-Imageの生成モデルとしてAttnGANを提案した。networkによってマルチステージでの高解像度の画像生成を可能にし、DAMSMによって画像とテキストの類似度を判定した。CUBで14.14%、COCOデータセットで170.25%を記録し、複雑な画像生成において本手法が非常に有効な手法であることが判明した。疑問ネットワーク全体としての目的関数がこう書いてあるのですが、これだとDiscriminatorを全く考慮しない気がしてます。実はこうなのでは?とか思ったりして。現実問題としてはGeneratorとDiscriminatorのLossの式が正しければ実装は変わんないんで別に良いんですけど。感想ポイントは入力するテキストの粒度を変えて複数回入力する点ですかね。人間の画家もそうですが、まずは全体をぼんやりイメージして、そこに対して細部を仕上げていくと、細部までうまく描かれた写実的画像の生成モデルが可能なようですね。NetworksTweet関連記事2020-01-13トピックモデルついて勉強する推薦システムの勉強をちょっとずつ再開している関連で、トピッ...2019-09-22推薦システム入門(その1:古典的手法)最近こちらの本を購入しました。(1)月別アーカイブはてなブログをはじめよう!nogawanogawaさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。