2022/2/24衛星データとディープフェイク、CycleGANで生成した嘘のゴルフ場衛星画像は分類器を騙せるのかCycleGANで生成した嘘のゴルフ場衛星画像で、以前宙畑で作成したゴルフ場が写っているか否かを判定する分類器を騙せるのか試してみました。スエズ運河におけるコンテナ船の座礁事故、福徳岡ノ場から噴出した軽石、ウクライナ国境のロシア軍......これらのニュースはすべて、衛星データとセットで報道され、多くの読者・視聴者にその話題の状況を生々しく伝えられました。今後も、報道における衛星データの利活用は増えることが予想されます。秋山文野ジャーナリズムと衛星データ~2021年のニュースに登場した衛星画像。2022年はどうなる?~一方で、衛星データに限らず画像を用いた報道には、現代において注意すべきポイントがあります。それは、報道に使われている画像が事実を写した画像なのか、フェイク画像かということです。(1)ディープフェイクのリスクディープフェイクという言葉を聞いたことがある方も多いでしょう。その言葉の通り、ディープラーニング技術を活用して作成されたフェイク(偽物)画像のこと。特定の政治家が発言を行っているような動画の投稿が行われたり、ドイツでは親会社の幹部を装う相手に、子会社の社員が電話で送金を指示され、約2600万円をだましとられたり......国内外問わず、ディープフェイクを悪用された事件が複数件発生しています。それは衛星データも例外に漏れず悪用される可能性が0ではありません。そこで、実際に衛星データのディープフェイクは作れるのか、また、それを見破ることはできるのか。宙畑で実験してみました。本記事では、ディープフェイクの生成を行うために、CycleGANを用います。CycleGANは、画像変換を行うことが可能な生成器です。いう画像変換器を用いて、SAR画像を光学画像へ変換する方法が紹介されています。GANについても解説されているので、こちらを読んでおくと理解が深まると思います。存在していた問題点を克服することで、pix2pixでは扱えなかった変換も行えるようになりました。pix2pixでの問題点pix2pixでは、元のデータと変換後のデータを用意し学習させることで、未知の画像に対しても画像変換を行うことができます。pix2pixの論文では実際に、航空写真と地図を学習させることで、未知の航空写真に対しても地図を生成した結果が載っています。https://arxiv.org/abs/1611.07004しかし、pix2pixだと、学習の際に変換前と変換後の両方の画像が教師データとして必要になります。建物が建設される以前と建設された後)の画像データが必要になり、衛星画像のような変化に時間を要するような画像の変換は十分なデータが収集できない可能性があります。CycleGANだと、変換前と変換後の画像(ペア画像)は必要なく、グループに分けた画像があれば大丈夫になります。左側がpix2pixで必要だったペア画像。右側がCycleGANで必要な画像グループ。https://arxiv.org/abs/1703.10593例えば、上記の例のような画像グループ(写真とモネの絵画)を集めれば、次の変換が行えるようになります。他にも、CycleGANの事例として、馬とシマウマを学習させることで、馬をシマウマに変換した動画が公開されています。CycleGANの学習方法CycleGANでは2個の変換器を用います。今回は次の2つの変換器を考えます。・猫の写真をイラストに変換(変換器A)・猫のイラストを写真に変換(変換器B)この場合、画像は猫の写真と、猫のイラストの画像グループを集めればよくなります。今までのGAN(pix2pix)等のタスクでは、1つの変換器で変換した生成物と教師画像(正解データ)を比較することで、ネットワーク(変換器)の更新をして学習していました。CycleGANでは、対応する画像(教師画像)が必要なくなったはずなので、比較する画像がなくなり、このままでは評価ができなくなってしまいます。そこで、変換器Aで変換した画像を変換器Bで変換することをやれば、元の画像が再び生成されるはずです。ややこしいですが、今回の例ですと「写真をイラスト風に変換した画像に対して、今度は写真風の変換をかければ、元の写真に戻るはず」という考え方です。このデータの流れは元の画像に対象が戻ってくるため、CycleGANと呼ばれる所以です。この学習だけでは、変換器Aで生成された画像は何でも良くなってしまうため、もう一つの変換である「イラストの画像から2回変換して、元画像と比較する学習」も行うことで、どちらの学習でも途中の生成物も意図した画像を生成してくれるようになっていきます。これらの学習を行うことで、CycleGANは2個の生成器を学習して、どちら側からも変換を行うことができるようになります。(3)CycleGANを利用したDeepFake衛星画像生成それでは実際にDeepFake画像を生成してみましょう。利用するデータ以前の宙畑の記事で利用された、ゴルフ場のデータを利用していきます。田上健太(Tisch合同会社)【コード・データ付き】学習済みモデルを利用して手軽にゴルフ場が写っているかを判定できる機械学習モデルを作成するこのデータセットは、衛星画像にゴルフ場が写っている(1)か、写っていない(0)かの分類タスクでした。このデータセットを利用することで、次の2つの変換を行うことができるようになります。学習とテスト用のデータは次のようにしてあります。実行環境とコード公式でPyTorch実装のCycleGANが利用できるようになっているので、そのコードを利用します。(ipynb)形式にしてあります。環境が必要になります。利用する場合も設定でGPUが利用できるランタイムに変更の必要があるため、上部メニューの「ランタイム」→「ランタイムのタイプを変更」を選択して表示される設定画面からGPUを選択してください。Driveにアップロードしてそれを連携します。Driveに連携しなくてもアップロードで問題ありませんが、ファイルパスの記述に気をつけてください。Drive上にあれば次のようなパスになっています。実行できるようにするためにコードを持ってきます。https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix続いて、作業を行いやすくするために、ダウンロードしたディレクトリを利用するようにします。osos.chdir('pytorch-CycleGAN-and-pix2pix/')CycleGANで必要になるライブラリをインストールします。学習を行っていきます。実行してパラメータを追加することで、設定を変更できます。/content/drive/MyDrive/golf_checkpoints実際の学習では次のパラメータも変更する必要があるかもしれません。バッチサイズを変更できます。GPUの容量によって変更してください。学習のエポック数です。100)で200エポックに設定されています。次のグラフは、私の環境で学習をしながら画像の誤差をプロットしていったものですが、学習が進むにつれて、ネットワーク全体的に誤差が小さくなっていくことが確認できます。誤差をプロットしていったグラフテスト学習と同じようにテスト用のコードは用意されているので、必要なパラメータを渡してテストを実行します。変換方向を指定する必要があります。テスト結果それでは実際に生成された画像を確認していきます。上手くいったものをいくつか取り上げています。ゴルフ場を消す左側が実際の衛星写真で右側がフェイクのゴルフ場が消える処理を加えたものです。山の中であれば、周りの山の濃い色にすることができていて、平地でも畑などの周りと同じような風景に馴染むようにゴルフ場が消えていますが、ゴルフ場のコース跡は消した後も見える感じがしますね。ゴルフ場を新しく出現させるこちらも、左側が実際の衛星写真で右側がゴルフ場を出現させる処理を加えたものです。元は畑の広めの場所をゴルフ場のようなものに変換できています。続いて、ゴルフ場分類の記事で学習を行った分類器を、実際に生成したフェイクデータで騙すことができるのかを試してみます。ちなみに記事の分類器のゴルフ場が写っているかを判断できる精度は正答率9割程度でした。先に実際の衛星画像で判定してみます。99.988%ゴルフ場はほぼ確実に写っていると判定されています。続いて、ゴルフ場を取り除いた画像で試します。6.47%50%以下であれば、「ゴルフ場なし」と判定されるため、今回のCycleGANでは分類器も騙せているDeepFake画像を生成できていることが確認できました。(5)まとめ今回のように、CycleGANを用いることで衛星画像についてもDeepFake画像を生成し本来の画像とは異なるものを出現させたり、消したりできることを確認できました。ような環境があれば、コードを書かずに容易に実行できてしまうため、悪用は厳禁ですが、実際のゴルフ場の出現等をやっていて、逆にゴルフ場がありそうな場所(候補地)を見つけるために利用できそうな技術のような気もします。今後衛星画像やデータを眺めるときも、この情報は本物なのかという考えも頭の隅に置いておく必要がありそうですね。2022/6/22Pix2Pixで宅地利用調査から任意の衛星画像を生成するアルゴリズムを作る簡単な塗り絵のような画像を作るだけで、お好みの衛星画像を生成するアルゴリズム制作にチャレンジしてみました。ハート形や六角形の池を作ることにも成功しています。2023/1/6ジャーナリズムと衛星データ~2022年のニュースに登場した衛星画像。2023年はどうなる?~データジャーナリズムの一形態として衛星画像をメディアで利用する取り組みが拡大しています。2022年の衛星画像が用いられた報道を例に挙げながら、これからのジャーナリズムにおける衛星画像の役割について考察します。2021/12/29ジャーナリズムと衛星データ~2021年のニュースに登場した衛星画像。2022年はどうなる?~データジャーナリズムの一形態として衛星画像をメディアで利用する取り組みが拡大しつつあります。2021年の衛星画像が用いられた報道を例に挙げながら、これからのジャーナリズムにおける衛星画像の役割について考察します。