GANってインターネット上には小さい写真しかないので、すげーって思うのですが、自分で生成してみて拡大してみたら、ちょっとガッカリする。双方用意する必要がある。枚数は数千枚くらいらしい。これで、変換元「羊」の特徴と、変換先「キリン」の特徴を学習し、変換できるようにする。動画から静止画を切り出して作ると効率がよいはず。Detectionや背景削除するツールを併用してマスクする必要がある。DeepFakeの顔置き換えは、顔の輪郭を認識させてマスクを自動生成している。DeepFakeの代表格アプリのFakeAppの仕組みFakeAppはすでに公式サイトが閉鎖されているが、以前はフリーソフトとしてWindowsアプリでダウンロードできた。丁寧な作成手順がYouTube動画で作成されており、実装ための閾が低かったため広く普及した。■大まかな手順(ただし、FakeAppでは以下の手順は、ほとんど自動化されている)※繰り返しますが正確には不明。1「ベースになる動画」と「置き換えたい顔の写った動画」を用意する。2それぞれの動画を静止画に切り出す。通常動画は秒間30枚もしくは秒間60枚の静止画なので、適した枚数に切り出す。3静止画にした後、顔を中心に画像をトリムする。顔のドアップ写真にする。4それぞれの動画に、対象者以外の顔が写っていたら削除する→ここまでの手順で、「ベースになる動画の顔」と「置き換えたい顔」の静止画が大量に作成できる。5「ベースになる顔」と「置き換えたい顔」の静止画から、顔の輪郭でマスクを作成6GANに学習させる7静止画のまま、GANで顔を置き換える。8置き換えられた静止画を、動画に戻す。2016/11印象&成熟度まだ普及期に入っていない現在の段階でここまで活用方法が明確なGANは珍しい。調べてきれてないが、開発があまり進んでいないように感じる。GANの進化を待ってるんじゃないかと勝手に思っている。目覚ましい成果は上げられてなさそうだが、ファッションに関する画像データセットの充実度合いはすばらしい。Datasetデータセットを使うためには管理者への申請が必要なので、ちょっとめんどい。GANの類似だと想像される。GAN技術の延長戦上にあるものNVIDIAが実現しようとしていること(かなり個人的な見解)前章でざっとGANを列挙しましたが、特に注目してもらいたいのがNVIDIAの研究所が発表しているGAN。誰かが0を1にしたGAN技術を、NVIDIAが1を10に改善していっています。エンジニアじゃない人は「せこい」とか言いそうですが、技術の進歩としては賢い戦略でイノベーティブなGANの技術の大きく高め、GAN領域におけるNVIDIAの存在感を増やしていっています。GAN」を、本物と見分けがつかないレベルまで改善できてきています。NVIDIAはゲーム業界を中心とする会社なので、この延長線上にあるものは、やはりゲームのリアル化だと思います。現状のゲームは3DCGで作られていてかなりリアルに近くなっていますが、このGANが適用できるようになったら、まさに実写レベルまでゲームの映像はリアルに近くなるでしょう。リアルと見分けがつかない人を操作して、リアルと見分けがつかない景色を歩くようなゲームが登場することになると予想されます。ちなみに現状の3DCG界で最高峰のリアル系CGは以下。GANで生成した顔の方がより本物っぽい気がします。大きな違いは「作るのに必要なスキル」と「生成するスピード」です。SayaはプロCGデザイナーの夫婦が2人で、かなり膨大な時間をかけて作っているはず。GANはスキルがなくても、(私のマシンで)30秒で画像が作れます。動画で作るためには秒間30回の画像生成が必要なので、リアルタイムレンダリングではまだ使えないかもしれませんが、プリレンダリングであれば十分作れると思います。現状の技術では、顔の向き変更した画像などは作れそうですが、繊細な表情などの顔の変化は作れないんじゃないかなって思います。時間の問題でしょうね。近いうちにGANで生成した映像がでてくるでしょう。肖像権とかないし、好みに合わせて顔のパターンを変えれるので革新的なんじゃないでしょうか?非人道的な内容のゲームに使う人もでてくるだろうから、倫理的問題を一度クリアしなきゃいけない局面がありそうですが、普及すると思います。この技術で作れそうなモノのアイディアデータの収集方法の難易度はとりあえず考えるのは抜きにして実現できそうなこと、作れそうなモノを列挙してみます。間違っている可能性もあります。※とりあえず、倫理的な側面は無視してみる。本当は最近AI技術をやってて結構真剣に倫理を考えているのですが。パワポで使うようなアイコンイラストを生成できる。表情のあるアニメにできる。GANの延長線上)「激しく戦っている風のかわいいイラスト」とかそういうオーダーでアイコンイラストを大量生成できる。アニメを実写っぽくにしてみたりできる。GANの延長線上)新海誠を超える実写に近い背景になる。実写に近いと良いってわけでもないと思いますが、やってみると面白いかも。逆に子供の運動会の動画を、アニメ化してみたり、実写映画のブルース・リーの戦闘などをアニメ化して北斗の拳との違いを楽しんでみるとか。他人の顔を全員イケメン&美人にする。GANの延長線上)ホロレンズのようなARデバイスを組み合わせて、リアルタイムに他人をイケメン&美人顔生成していく。完全オリジナルの顔にするのではなく、オリジナルの顔にイケメン&美人の特徴を増し増しにして顔生成する。リアルタイムで違和感なく画像の置き換えをするにはイノーベーション級の処理速度の改善がいりそう。顔ではなく体に適用すると「マジカルたるルートくん」のみえっちんが作れる。FashionGANを作るより簡単なので画質は低いが今の技術で十分できるはず。GANの延長線上)プリクラで撮影した顔を弄る機能が、もっと自然で、もっとがっつり編集できるようになる整形外科で、整形後の顔がシミュレートできる映画やドラマに写っている広告を書き換えられる。公の場で撮影した映像の背景などの編集が楽になるMicrosoftの大型イベントで前の方に座っている記者達が全員Macだったという事件(?)が以前あった。いうときは、MacをSurfaceに書き換えてしまるよね?映像上は。CUDAが必須だったりとGithubからCloneしてきたPythonコードが実行できる環境を作るのは、やや難易度高いです。僕も最初、悪戦苦闘してどのサービスがいいのか探し回りました。VMを作るという手順です。開発環境が全部作られており、かつJupyterも実行されているので、超楽です。価格はそこそこ高いですが、VMを細かく停止して節約するしかないです。終わりにAIって処理速度や継続性(休まず稼働)は人間の能力を超えるけど、精度(正解率など)に関して超えることはほとんど無いと悲観してました。それは「判別」系のAI能力であって、画像生成のような「生成」系は人間を遥か超えていくと感じました。写真と見分けがつかないのような絵って人間には書けないですよね。レンブラントなどの天才画家であったとしても、ピクセル単位で書いているってことはないでしょう。画像だけではなく、3Dの画像や文章、音声、将棋の次の手など新しいモノを生み出す生成能力は、人間の能力はそれほど高くなく、AIが特に活躍できる領域であると思われます。この領域は今年もホットな領域になりそうなので、引き続き注視し、次の驚きを楽しみにしていたいと思います。--2019/4/26追記--この「終わりに」を一昨日書いてから、本当に人間の画像生成能力は、AIに勝てないんだろうかと疑問に思いました。僕は10代くらいまで明晰夢ができて、そのあとずっとできなくなってたのですが、最近たまに起こるようになりました(月1回くらいかな)。明晰夢とは要するに夢の中で夢にいることを自覚して行動できること。映像でいうと「インセプション」という映画ででてきたような感じ。あの映画はきっと明晰夢が上手にできる人が考えていると思います。映画で説明されている「無意識が夢に与えてくる影響」などがリアルなので。以前まで夢の中で意識的に物体な景色を生成しようと考えたこともなく、ただ無意識が作り出したいろんなパプニングに巻き込まれるだけだったのですが、今はいろんなことを実験して遊んでいます。今ハマっていることは「景色や物体の生成」で、かなりカラフルできめ細かくリアルに想像したものが生成できます。このことから考えると、人間はリアルの世界で画像を物理的なモノ「画像や動画」にアウトプットすることはできないが、頭の中では生成できてるんではないかと思います。いうことでAIに負けてないはず!起きている時に夢で生成した映像が見れないのか悔しいのですが、見れるようにならないか研究してます。クイズ番組の東大王で、目でみた映像を記憶し、あとで瞼の裏で見返せる人がいました。それができるんだったら生成した映像も瞼の裏で見れるんじゃないかと思うので、なんとか僕もできるようにならないか、鍛えられないか研究中です。脳波を解析する技術が進んだら、人間が明晰夢で作った映像をアウトプットできるようならないだろうか。明晰夢がコントロールできるようになって、VRゲームを作っていけるようになったら、めっちゃ面白そうだなぁ。Insight系や開発系を中心として活動してます。役に立つのはもちろん、使ってて楽しくなってくるアプリを作るのが好きです。