ビジュアライズする世界。GAN(敵対的学習)ロボティクスTOP機械学習ビジュアライズする世界。2019.04.19ビジュアライズする世界。ShareTweetLINEこれからますます普及していくであろう視覚ベースの検索法やコミュニケーション。今回紹介する論文では視覚的検索からユーザの意図する画像を検索するだけではなく、熟練していないユーザーても使いこなせる新しいシステムが提案されています。近年、感性によって、マルチメディア・データベースを検索するインターフェースが活発化しています。2010年に登場したインスタグラムは、いまや世界中で10億人以上のユーザー数に達し、毎日何万もの写真がシェアされているといいます。インスタグラムによって公私の空間をめぐる視覚文化も一段と変容し、言わばそこには<拡張された>視覚空間があります。世界はメディア(技術)の進化によって急速にヴジュアル化してるといえるでしょう。今回紹介するのは、これからますます普及していくであろう視覚ベースの検索法です。視覚的検索は、コンピュータビジョン、または情報検索コミュニティの中で長年の問題であり、「関連性フィードバック」として広く研究されてきました。今回は紹介するのは、その中でも、手書きの絵から関連イメージを検索するという”直感的”なものです。ターゲットイメージにたどり着けない問題スケッチクエリからユーザの意図する画像を検索することにおいては、未解決の課題があります。ユーザーが犬のスケッチを作成すると、米国の地図が返されるとします。この地図は、外見上は描かれた形状(構造)に似ていますが、概念的に関連性はありません。フリーハンドスケッチは大抵の場合、不完全で曖昧な記述になってしまい、ターゲットイメージにになかなかたどり着けないということが起こってしまいます。検索において、最初にスケッチされた図形(左上)がユーザーの検索意図と一致しない結果をもたらす可能性があります。LiveSketchでは、検索結果(ユーザーが選んだイメージ)に関連するクラスターに基づいて、システムがスケッチされたクエリの改良を提案し、検索をガイドしてくれます「こう描いた方が、ターゲットイメージに近い検索結果が得られるんじゃないかな〜」とAIが自主的にスケッチクエリを洗練させてくイメージです。この相互作用は、ユーザーの検索意図と一致する結果に向けて検索を明確にし、素早く導いてくれます。敵対的”摂動”このアプローチでは、画像特徴を符号化するために使用されるDNNの可逆性を利用しました。探索埋込み内の目的点を識別し、そしてそれらの目的点に写像するようにクエリを更新するといった感じです。ユーザーの検索の対象となる可能性のあるクラスタを特定し、DNNエンコーダを逆転させ、クエリを適用することで、どのようなスケッチを描けばターゲットイメージを特定できるかを自動的に提案します。Exampleに触発されています。これは、画像に”摂動(小さな攪乱・ずれ)”を加えることで、オブジェクトを任意のターゲットカテゴリに誤分類させるというものです。Exampleを作成するための一般的な考えは、人間の目には知覚できないと期待される微調整された摂動(小さな攪乱・ずれ)を、正しく分類された自然画像に追加することでモデルに間違った答えを出力させるように誘導することです。いくつかの研究では画像上の人工的な摂動(小さな攪乱・ずれ)がDNNの誤分類を容易にすることができることを明らかにしています。今回の視覚的探索の文脈では、ユーザによって選ばれたイメージを手書きスケッチの外観に組み込むためにユーザの手書きスケッチを”摂動”させるという反復戦略を提案します。ユーザのスケッチしたクエリを、選択されたイメージに近づけるようにシフトするクエリ摂動としてキャストし、DNNを通して逆伝搬させることによりアップデートを促すスケッチを生成します。なり、ユーザが表現した意図に対してインタラクティブに反応し、その後の検索反復を形成することができます。インタラクティブ検索の概要を示しています。スケッチと画像コンテンツはそれぞれRNNとCNN分岐を介してエンコードされ4つの完全に接続されたレイヤを介して統合され、検索埋め込みSに符号化されます。最初のスケッチQが与えられると、ユーザーから高い評価を得たターゲットイメージを組み込んだ次の検索反復を導くためのスケッチ提案(Q’)を形成します。これらの画像はQの視覚的構造を共有していますが、セグメントと意味的に多様なコンテンツをふくんでいます。Stockからの67Mのストックフォトとアートワーク画像(Stock67M)のコーパスを使ってLiveSketchのパフォーマンスを評価します。右の括弧は失敗した検索の確率です(一定の時間を超えてもターゲットイメージにだどり付けなかった時は”失敗”とみなします)。ユーザーは特定のポーズまたは視覚的属性を持つ特定のオブジェクトを検索するように促されました(「3つの尖塔を持つ教会」、「サメが泳いでいる側面図」など)。ユーザがターゲットイメージが見つかったことに自信があるときに終了します(自己評価)失敗率は突出して低いというわけではありませんでしたが、LiveSketchは、画像コーパスに対して検索時間を著しく短縮することを示しています。システムが繰り返し自主的に提案していくことで、ターゲットイメージにより早く近づけることが分かりました。このようなビジュアル検索でのクエリ詳細化のために敵対的な”摂動”を用いるのは非常にユニークなアイデアではないでしょうか。この記事をシェアするLINE記事の内容等について改善箇所などございましたら、お問い合わせフォームよりAI-SCHOLAR編集部の方にご連絡を頂けますと幸いです。データ増強をするためのGANモ...今回紹介する論文はこちら。Dee...東京オリンピックにも採用、急速に利用が広がる「顔認証」...低解像度ビデオもすぐに高解像度に変換できる超解像アルゴ...Googleが公開した自然言語処理の最新技術、BERT...モデルの脆弱性・様々な精度はデータセットの「粒度」でわ...深層学習×マルチモーダル。マルチモーダル学習で未来が広...MuZeroの衝撃。Dee...低解像度ビデオもすぐに高解像度に変換できる超解像アルゴ...Googleが公開した自然言語処理の最新技術、BERT...MuZeroの衝撃。お取り扱いについて株式会社wevnal(以下「当社」といいます。)は、AI-SCHOLAR(以下「本サイト」といいます。)をご利用になる方(以下「ユーザー」といいます。)を遵守すると共に、以下のプライバシーポリシー(以下「本プライバシーポリシー」といいます。)に従い、適切に取り扱うものとします。本プライバシーポリシーにおいて、個人情報とは、生存する個人に関する情報であって、当該情報に含まれる氏名、生年月日その他の記述等により特定の個人を識別することができるもの(他の情報と容易に照合することができ、それにより特定の個人を識別することができることとなるものを含みます。)を意味するものとします。当社は、ユーザーの個人情報を、以下の目的で利用いたします。当社は、ユーザーの同意を得て、以下の提供先に、以下の提供情報内容を以下の手段又は方法で提供することがあります。(1)提供先について登録ユーザーが本サイトにおいて資料の請求、閲覧もしくはダウンロードする場合、その資料の提供元である本サイト掲載企業(当該提供元企業から委託を受けた者を含みます。所属企業ではなく、企業に所属する個人が提供元である場合もあります。)に、以下の情報が提供されます。電磁的な方法による送信また、次に掲げる場合は、関係法令に反しない範囲で、ユーザーの同意なく個人情報を第三者に提供することがあります。一部または全部を外部委託することがあります。委託先における個人情報の取扱いについては当社が責任を負います。当社は、個人を特定できないよう加工した統計データを作成することがあります。当社は、統計データを何ら制限なく利用することができるものとします。して、ユーザーご本人に限り、個人情報の開示、訂正、追加または削除、利用停止、ならびに第三者への提供の停止(以下「個人情報の開示等」といいます)を求めることができるものとします。以下の場合は個人情報の変更等に応じないことがあります。他の法令に違反することとなる場合また、当該個人情報の変更等に多額の費用を要する場合、その他の、個人情報の開示等を行うことが困難な場合であって、ユーザーの権利・利益を保護するため必要なこれに代わるべき措置をとるときは、個人情報の変更等に応じないことがあります。当社サービスは、Cookie及びこれに類する技術を利用することがあります。これらの技術は、当社による当社サービスの利用状況等の把握に役立ち、サービス向上に資するものです。Cookieを無効化されたいユーザーは、ウェブブラウザの設定を変更することによりCookieを無効化することができます。Cookieを無効化すると、当社サービスの一部の機能をご利用いただけなくなる場合があります。当社は、法令等の定めがある場合を除き、必要に応じて、本プライバシーポリシーを変更することができるものとします。プライバシーマークに関して当社は、プライバシーマークの認証を取得しています。パスワードをお忘れの。