なかちょんブログなかちょんブログパパの為のマインクラフト音声翻訳機オンライン英会話WordPress記事プロフィールお問合わせ個人リンク便利リンクホームAI(人工知能)盗作画像チェックサイトはどんな技術なのかAIエンジニアにきいてみた2019/03/13SHAREツイートシェアはてブGoogle+PocketLINEツイートシェアはてブGoogle+PocketLINE盗作画像チェックサイトはどういう技術をつかっているのか?について、社内のAIエンジニアにきいてみました。これから書くことは、あくまでも私が理解した内容であり、間違っていたり誤解しているところがあるかもしれませんが、自分の頭の中を文字として記録しておきます。間違ってたらTwitterかフォームからおしえてもらえるとうれしいです。盗作画像チェックサイトに登録したユーザーサイトの画像データを収集する。クローラーがいろんなウェブサイトを巡回し、そこにある画像データを独自のアルゴリズムを使って行列データに変換する。3の行列データと2の行列データの類似性をアルゴリズム(アルゴリズムB)を使って計算する。4の結果(類似性)が高ければ、画像が盗作されている可能性が高いと判断し、ユーザーサイトと盗作している可能性のあるサイトのURLをレポートするざっくりとこんなイメージ技術のキモ流れの2にある、画像データを独自のアルゴリズムを使って行列データに変換するところのアルゴリズムAと、4の2つの行列データの類似性を計算するアルゴリズムBがキモです。ユーザーのサイトの画像があるサイトにある画像と同じなのかどうかを判断するためには、アルゴリズムAとアルゴリズムBの組み合わせで答えを出すからです。このアルゴリズムの出来が悪いと、盗用された画像ファイルがあったとしても見つけられる可能性が低くなるのと、2つのアルゴリズムの出来がよければ、盗用を検出できる可能性が上がる以外にも検索の効率を上げることができるからです。Learningというものがあります。similarity)があります。画像検索の効率をあげる方法2つの画像データを行列データに変換し、その2つの行列データの類似性を検証するには、先に上げた方法などを用いて2つの行列の距離を測ります。この時、例えば人の顔の画像データとして、自分の顔が写った写真が10枚、友人の写った写真が10枚あったとしたら、任意の2枚の自分の写真の距離(類似性)は、自分の写真と友人の写真の距離に比べると高くなれば、それは優れたアルゴリズムで、そうでなければ優れていないアルゴリズムになります。一般的には盗作を気にするようなユーザーのサイトには大量の画像があります。クローラーが検出した画像ファイルを1枚づつ、ユーザーのサイトにある画像データと比較するよりも、ユーザーのサイトにある画像自体についてグルーピングして、その代表となる画像と、クローラーが検出した画像を比較できれば、1枚1枚チェックするよりもはるかに効率があがります。サイトの画像データを収集するクローラーも、そして集めてきた画像データをユーザーサイトの画像と比較するプログラムも、サーバーのリソースを多く必要とします。そのリソースは盗用画像を検索するサービスを運営するサーバー費用にも直結します。ユーザーサイトの画像を行列データにするアルゴリズム、ユーザーサイトの画像データの代表データを絞り込む方法、そして、そのデータとクローラーが集めてきた画像データの類似性を検証するアルゴリズムなどなど、技術的にはとてもむずかしいレベルです。Learningについて勉強中の自分が、社内のエンジニアにきいた内容をまとめてみました。Learningの講習を購入してはみましたが、なかなか進まないので、やっぱり具体的なところを詳しい人に聴けるほうが、どこでどんな技術が必要でそれがどうやったら役に立つのかということがわかっていいですね。これからも幅広く勉強していきたいとおもいます。