Gesture人間のコミュニケーションは、視覚と音声の両方から成り立っています。これらの感覚の関係や、何からどのような情報を受け取っているのかは、いまだに不明瞭な部分が多く存在します。この研究では、この関係性を解明するために、生の音声データから話し手の特定のジェスチャーを予測するモデルを提案しています。音声から動きを生成するためには、音声からポーズへのマッピングを学習する必要があります。これは変換として定式化することができますが、実際には、オーディオデータとビジュアルデータを自然に対応させるには、2つの課題があります。話し手は、同じ内容を話していても、ジェスチャーが異なる場合があることまた、必要な大量のビデオに対して人間がラベル付けを行っていくのは非常に大変(不可能)です。話すときの各人の身振りも非常に特殊であり、話し手が異なればジェスチャーも異なります。これらの問題を解決するために、大量のデータを使用し、ラベル付けは行わずGANのメカニズムを用いて、最適なジャスチャーを”生成”することを目標とします。データセット10人の話者からなる144時間の個人ビデオデータを作成しました。テレビの司会者、大学の教師、伝道者などが含まれます。議論に含まれているトピックは、死の哲学、化学からロック音楽の歴史、ニュース解説、聖書を読むことなど、多くのトピックにまたがっています。使って得られる骨格のキーポイントを表現しています。対応する49個のポイントを使います。このビジュアライゼーションは、話者の休憩時の姿勢と、そこからどのように動く傾向があるかを明らかにしています。アンジェリカは両手を折ったままにする傾向がありますが、キュービネックは頻繁に左手で画面を指す傾向があることがわかります。上の画像がモデルの概要図になります。目的としては、「生のスピーチ音声から、話し手の腕と手のジャスチャーを予測する」ことです。スピーチ音声を骨格画像に変換し、L1正則化とGANの識別器を組み合わせて用いるという2段階のアプローチによって従来モデルよりナチュラルなジェスチャーを音声のみから再現しています。はじめに音声信号から、生成器を通じて低解像処理を行い骨格(ジェスチャー)の動きを生成し、L1正則化を行うことで尤もらしい動きに近づけていきます。生成されたジャスチャーモデルの過学習を防ぐために、本来のジェスチャーのデータセットを学習させたGANの識別器を用意し、自然なジャスチャーの動きを生成できるように生成器を訓練します。下のGIFは左から順に、入力となる音声、入力から推定した骨格、それを基に合成したものです。以下の画像はスピーチからジェスチャーへの変更結果を視覚的に比較したものです。正解のジェスチャーシーケンスに予測された骨格シーケンスが重ねられて表示されています。ベースラインの方法と比較しても一番正確に予測されており、ほとんどズレがないことが分かります。モデルには未だに多くの制限があるとも述べられています。その例として、音声はエンコーダーを通した際に特徴量を抽出すると情報を失ってしまい、現状では決まったパターンのジェスチャーしか予測できません。他モデルとの組み合わせによりこれらの欠点を解消できる可能性は大いにありそうです。自然言語処理を用いることで、”文字情報”からであれば失う情報量は音声より少ないため、多様なジャスチャーを表現できるかもしれません。今後は、より観衆に影響を与えるスピーチやニュースキャスティングの身振り手振りを計算するなど、”コミュニケーション”における重要な役割を担う研究が期待されます。詳細な結果はこちらの動画から確認できます。﻿この記事をシェアするLINE記事の内容等について改善箇所などございましたら、お問い合わせフォームよりAI-SCHOLAR編集部の方にご連絡を頂けますと幸いです。2芸術的な画像と文字の自動合成を可能にする新たなGANGANは著しい発展を遂げています。1AIが創造性を獲得。近年ホットなディープラーニング。月間GANの発展の歴史を振り返る!GANの包括的なサーベイ...レンダリングを応用した画像セグメンテーション「Poin...低解像度ビデオもすぐに高解像度に変換できる超解像アルゴ...機械学習のためのデータ収集に新たな希望!?半教師学習の...教師あり学習の精度を超えた!?相互情報量の最大化による...たった2行で画像認識モデルの精度向上!?新しいData...「PEGASUS」文章要約に特化した自然言語処理モデル...パラメータ数を激減させる新しい畳み込み「MixConv...Googleが公開した自然言語処理の最新技術、BERT...深層学習×マルチモーダル。お取り扱いについて株式会社wevnal(以下「当社」といいます。)は、AI-SCHOLAR(以下「本サイト」といいます。)をご利用になる方(以下「ユーザー」といいます。)を遵守すると共に、以下のプライバシーポリシー(以下「本プライバシーポリシー」といいます。)に従い、適切に取り扱うものとします。本プライバシーポリシーにおいて、個人情報とは、生存する個人に関する情報であって、当該情報に含まれる氏名、生年月日その他の記述等により特定の個人を識別することができるもの(他の情報と容易に照合することができ、それにより特定の個人を識別することができることとなるものを含みます。)を意味するものとします。当社は、ユーザーの個人情報を、以下の目的で利用いたします。当社は、ユーザーの同意を得て、以下の提供先に、以下の提供情報内容を以下の手段又は方法で提供することがあります。(1)提供先について登録ユーザーが本サイトにおいて資料の請求、閲覧もしくはダウンロードする場合、その資料の提供元である本サイト掲載企業(当該提供元企業から委託を受けた者を含みます。所属企業ではなく、企業に所属する個人が提供元である場合もあります。)に、以下の情報が提供されます。電磁的な方法による送信また、次に掲げる場合は、関係法令に反しない範囲で、ユーザーの同意なく個人情報を第三者に提供することがあります。一部または全部を外部委託することがあります。委託先における個人情報の取扱いについては当社が責任を負います。当社は、個人を特定できないよう加工した統計データを作成することがあります。当社は、統計データを何ら制限なく利用することができるものとします。して、ユーザーご本人に限り、個人情報の開示、訂正、追加または削除、利用停止、ならびに第三者への提供の停止(以下「個人情報の開示等」といいます)を求めることができるものとします。以下の場合は個人情報の変更等に応じないことがあります。他の法令に違反することとなる場合また、当該個人情報の変更等に多額の費用を要する場合、その他の、個人情報の開示等を行うことが困難な場合であって、ユーザーの権利・利益を保護するため必要なこれに代わるべき措置をとるときは、個人情報の変更等に応じないことがあります。当社サービスは、Cookie及びこれに類する技術を利用することがあります。これらの技術は、当社による当社サービスの利用状況等の把握に役立ち、サービス向上に資するものです。Cookieを無効化されたいユーザーは、ウェブブラウザの設定を変更することによりCookieを無効化することができます。Cookieを無効化すると、当社サービスの一部の機能をご利用いただけなくなる場合があります。当社は、法令等の定めがある場合を除き、必要に応じて、本プライバシーポリシーを変更することができるものとします。プライバシーマークに関して当社は、プライバシーマークの認証を取得しています。パスワードをお忘れの。