Insight教師あり深層学習の利用は,コンピュータビジョン(CV)の分野に革命をもたらした。深層学習モデルは,物体検出,分類,セマンティックセグメンテーション,画像生成など,幅広いCVタスクにおいて人間に近い性能を達成しています。これらのモデルは、畳み込みニューラルネットワーク(CNN)などのパラメータの大規模なネットワークを訓練するために、教師あり学習を使用しています。教師あり学習には大きなコストがかかります。モデルを学習するためには、大量のラベル付きデータ(正解データ)が不可欠なのです。弊社の衛星画像検知アルゴリズムはまさにそういった大量の衛星画像へのラベリングの工程が不可欠です。現在の多くのアルゴリズムは、そういったラベルのないデータからは学習できず、良い結果を得るためには、ラベルを付けた大量のデータが必要となり、ラベル付きデータ依存問題が生じています。この問題は手動でデータをラベル付けすることで解決できますが、時間と費用がかかり、エラーが発生しやすくなります。最悪の場合、一般的でない物体(レアオブジェクト)の場合、ラベルを付けるのに十分なデータがないため、アルゴリズムの開発は更に難しくなります。Imagery(シンセティックイメージ・人工合成画像)とわれる人工的に生み出された物体の3Dモデルや衛星画像を用いて、学習用のラベル付き合成データセットを生成することができます。いった人工合成画像を使ってCNNモデルを学習する試みは、これまであまり成功していません。ニューラルネットワークは、画像内の物体の特徴を非常に効率的に「学習」しますが、同時に合成生成プロセスがどのようにオブジェクト・インスタンスを生成するかをすぐに学んでしまいます。その結果、そうやって作り出されたモデルは、生成プロセスのアーチファクトを持たない実際の画像中のオブジェクトを認識することができず、実際の画像の中で対象物がどのように現れるかを一般化することができないケースが多いです。Insightは、そういった合成画像を用いてCVモデルを学習させる有効な方法を発見しました。今回使ったデータセットとともに、それぞれご紹介していきます。データセットと利用モデル今回の検証の為に、データセットは3つのタイプのクレーン車の衛星画像を利用しました。crane”に分別され、これらのオブジェクトは、データセットの中では比較的学習例が少ない理由の一つです。ベースに利用したCVモデルを利用しました。Adaptation)させることで、最良の結果を得ることができました。前記にあるように、合成画像そのものをCNNで学習させてしまうと合成画像独特のアーティファクトや生成プロセスをCVモデルが学んでしまい、実際の画像で検知がうまく行かないという問題あります。Imagery(合成画像)の例です。https://openaccess.thecvf.com/content/ACCV2020/papers/Lopez-Rodriguez_Project_to_Adapt_Domain_Adaptation_for_Depth_Completion_from_Noisy_ACCV_2020_paper.pdf町中にある飛行機やクレーンなど現実はありえない画像を無数に自由に生み出せるのが合成画像のよいところですが、実際に人間の目が見ても「合成っぽい」ということが感じ取れます。これをCNNモデルは学習してしまいます。Adaptationした合成画像は下記のような画像となります。上記の通り、人間の目にも「合成っぽさ」がなくなり、より我々が見ている衛星画像へ極めて近づいていることがわかります。Adaptationを行ったモデルのほうが、通常の合成画像の修正したものよりも、どのクレーンでも高いスコアを記録していました。Adaptationした大量の合成画像データセットと,より小規模な実際のデータセットの両方を用いてモデルを学習するさまざまな方法を試した結果、最初に合成データセットでモデルを学習し、その後、実データで学習する(インクリメンタル学習)ことで,検証したモデルの中で一番効率的にAPスコアが向上し、実データのベースラインよりもスコアが向上した結果が得られました。このプロセスを踏むことで、すべてのケースにて合成トレーニングデータを使用して、実データよりも優れた結果を得ることができました。回の反復学習を行いました。各クラスにおいて、インクリメンタル学習は、CycleGANのみのトレーニングよりもAPを改善しました。最後に、ベースライン(実データのみ)、合成画像のみ、そして合成画像とインクリメンタル学習のAP比較行った結果、合成画像のみだと、リアル画像のみのベースラインよりもAPが悪いクラスもありましたが、合成画像とリアルデータの組み合わせをすることですべてのクラスでAPがベースラインよりも改善されました。Insightは、検出モデルを学習するために合成画像を作成し、少数の実際のトレーニング画像と組み合わせることで、モデルを学習することが技術的に可能であることを今回発見しました。研究を重ねることで、CycleGANドメイン適応が合成画像でどのように機能しているのか、また、少量の実データセットを組み合わせることで、トレーニングの第2段階で合成画像がどのように改善されるのかをより深く理解することで、モデルの精度を向上させることができると考えています。このような合成データは、衛星画像ではなかなか見つからない希少な物体や、まだ過去事例があまりない全く新しい物体の検知に貢献できると考えています。今回の分析の詳細結果やパラメーター等にご興味の方は、お気軽にお問い合わせよりご連絡ください。cookiesAgree。