深層学習×マルチモーダル。2019.01.28深層学習×マルチモーダル。最近のディープラーニングの1つのトレンドは、画像認識の分野において、CNNの多層化が顕著だということです。これにより少ないパラメータで複雑な非線形性を持たせることができます。一般的な画像認識のタスクはかなりいい成績を出してます。一方で、画像と他のデータを組み合わせた研究が近年盛んですが、こういった機械学習においていくつかの異なる情報を使うことをマルチモーダル学習と呼びます。私たちの住む現実世界では、情報は様々なモーダル情報で表現されています。...など様々なデータで構成されています。五感から取り入れることで、単一のモーダル情報よりも確実で抽象度の高い情報処理うことができます。これらを模倣して機械学習においても同様に複数種類のデータから学習して、統合的に処理をしようというのがマルチモーダル学習になります。現在のAI技術は、人間に備わっている5つの感覚の中からどれか1つの感覚を対象にするものがほとんどですが、モーダルな情報を扱うこの研究は、人間の感覚の学習過程を模倣することにおいては正しい方向を示すものといえるでしょう。深層学習が登場する以前はそれぞれのモダリティに関する研究分野が独自に進展してきましたが、ディープラーニングの発展により、近年、分野間の障壁が薄くなってきました。speechマルチモーダルの処理の研究は1986年頃から行われはじめました。readingと呼ばれる唇の動きのみからテキストに変換するといったものでした。ディープラーニングのマルチモーダル化もこのタスクからでした。人間においても、雑踏や、周囲に騒音があるような音声が聴き取りにくいような環境では、話者の口の動きを音声ど同時に読み取ることにより、より正確な音声を聴き取ることができます。テキストからの表情豊かな音声ビジュアルのリアルタイム合成する研究が行われています。ユーザーが任意のテキストを入力すると、楽しそうな表情から、怒ったものまで様々な気分の表情で話させることを可能にします。Recognitionこちらは音声と画像の両方の情報を使って人の感情(喜び・悲しみ・怒り)を認識するという研究です。2011年には感情分析のためのマルチメディア処理と機械学習方法の比較を目的とした初めての競技イベントが開催されました。音声とビデオから感情を分析する研究などもあります。Captioning」と呼ばれるタスクです。CNNによって画像から特徴を抽出し、それをもとに、RNNによってテキストを生成します。Termを重視したニュートラルな文を生成するキャプション生成も登場しました。image“text-to-image”と呼ばれるタスクです。テキスト(キャプション)を条件として,そのテキストにあう画像を生成することを目指します。256×256の圧倒的な画像を生成できる2ステージ訓練を提案したStackGANなどの研究が有名です。最近ではアテンションドリブンな方法がより細部を生成できることを示したAttnGANなども話題になりました。Answering(VQA)VQAは、画像に対する質問をテキストですると回答してくれるシステムです。このタスクが広く知られるようになったきっかけとして、2016年のCVPRでコンペティションが行われたことが挙げられます。このコンペティションは、数十万セットの質問文と画像と答えのセットから正しい答えを導きだすモデルを学習させ、その精度を競うというものでした。YES/NOで答えられるものから物体に何が映っているかを示すもの、数を答えなければいけないものまで、質問文の種類は様々なものが用意されています。sound画像から音声を生成するというものあらかじめ映像と音の関係を学習させておいたコンピューターに映像を見せて実際に聞こえそうな音を予測させる研究で、高い精度で映像に効果音を乗せることができるようになってきてます。controlゲームの過去4フレーム分の画像から行動を生成するというDQNも話題になりました。マルチモーダル学習で広がるビジネス上記でも説明した通り、マルチモーダルとは、Multi(複数)とModal(様式)を合わせたコンピュータ用語で、画像(視覚)だけでなく、音声等も含めたデータを機械学習をしていくことを意味しています。等の分野がより進展していくことが予測されます。上の画像のように、物事の性質の認識が進み、人間が日常的に使う概念が理解できるようになると、それを言葉と結びつけることにより、コンピュータの言語理解がより進むかもしれません(上画像5番目)そうすると、本を読んだり膨大なWEB上にある情報に接することができます。そこからまた知識を獲得することができ、すごい勢いで人類の知識を取り入れていくことになるでしょう。それが6番目のフェーズで、社会的にさまざまな分野で大きなインパクトをもたらすでしょう。現時点ではレベル1がほぼできて、2や3のマルチモーダルな認識や、ロボティクス(AIの体)研究が始まってきたというところです。新しい組み合わせで未来が広がる動物の知能は本質的にマルチモーダルにできてるため、人工知能のさらなる進歩には必要不可欠な技術といえます。深層学習は複数のモダリティを結びつける非常に強力な方法です。嗅覚、味覚、触覚を加え、モダリティを統合することで、さらに面白い可能性が広がるかもしれません。物体の写真から触覚を生成するなどなど...複数のモダリティにまたがるアプリケーションはまだまだブルーオーシャンです。この記事をシェアするLINE記事の内容等について改善箇所などございましたら、お問い合わせフォームよりAI-SCHOLAR編集部の方にご連絡を頂けますと幸いです。1順序付きニューロン。ツリー構造のリカレントニューラルネットワ...ICLR2019が開催されました。2真なる「知能」の獲得への一歩。Dee...モデルの脆弱性・様々な精度はデータセットの「粒度」でわ...低解像度ビデオもすぐに高解像度に変換できる超解像アルゴ...Googleが公開した自然言語処理の最新技術、BERT...AI×絵師!彩ちゃんの裏側!...BERTはまだまだ進化する!軽くて強いALBERTが登...MuZeroの衝撃。囲碁のルールを自ら学習しAlpha...深層学習×マルチモーダル。Dee...低解像度ビデオもすぐに高解像度に変換できる超解像アルゴ...モデルの脆弱性・様々な精度はデータセットの「粒度」でわ...AI×絵師!彩ちゃんの裏側!...Googleが公開した自然言語処理の最新技術、BERT...単語の挿入と削除を用いた新時代の文生成手法が登場...メタ学習の欠点を克服?教師なし学習とメタ学習を組み合わ...MuZeroの衝撃。Dee...MuZeroの衝撃。お取り扱いについて株式会社wevnal(以下「当社」といいます。)は、AI-SCHOLAR(以下「本サイト」といいます。)をご利用になる方(以下「ユーザー」といいます。)を遵守すると共に、以下のプライバシーポリシー(以下「本プライバシーポリシー」といいます。)に従い、適切に取り扱うものとします。本プライバシーポリシーにおいて、個人情報とは、生存する個人に関する情報であって、当該情報に含まれる氏名、生年月日その他の記述等により特定の個人を識別することができるもの(他の情報と容易に照合することができ、それにより特定の個人を識別することができることとなるものを含みます。)を意味するものとします。当社は、ユーザーの個人情報を、以下の目的で利用いたします。当社は、ユーザーの同意を得て、以下の提供先に、以下の提供情報内容を以下の手段又は方法で提供することがあります。(1)提供先について登録ユーザーが本サイトにおいて資料の請求、閲覧もしくはダウンロードする場合、その資料の提供元である本サイト掲載企業(当該提供元企業から委託を受けた者を含みます。所属企業ではなく、企業に所属する個人が提供元である場合もあります。)に、以下の情報が提供されます。電磁的な方法による送信また、次に掲げる場合は、関係法令に反しない範囲で、ユーザーの同意なく個人情報を第三者に提供することがあります。一部または全部を外部委託することがあります。委託先における個人情報の取扱いについては当社が責任を負います。当社は、個人を特定できないよう加工した統計データを作成することがあります。当社は、統計データを何ら制限なく利用することができるものとします。して、ユーザーご本人に限り、個人情報の開示、訂正、追加または削除、利用停止、ならびに第三者への提供の停止(以下「個人情報の開示等」といいます)を求めることができるものとします。以下の場合は個人情報の変更等に応じないことがあります。他の法令に違反することとなる場合また、当該個人情報の変更等に多額の費用を要する場合、その他の、個人情報の開示等を行うことが困難な場合であって、ユーザーの権利・利益を保護するため必要なこれに代わるべき措置をとるときは、個人情報の変更等に応じないことがあります。当社サービスは、Cookie及びこれに類する技術を利用することがあります。これらの技術は、当社による当社サービスの利用状況等の把握に役立ち、サービス向上に資するものです。Cookieを無効化されたいユーザーは、ウェブブラウザの設定を変更することによりCookieを無効化することができます。Cookieを無効化すると、当社サービスの一部の機能をご利用いただけなくなる場合があります。当社は、法令等の定めがある場合を除き、必要に応じて、本プライバシーポリシーを変更することができるものとします。プライバシーマークに関して当社は、プライバシーマークの認証を取得しています。パスワードをお忘れの。