Video話者の顔と上半身に焦点を合わせるように設計されたトーキングヘッドビデオは、映画、テレビ番組、コマーシャル、YouTube、オンライン講義などいたるところで見られます。このような録画済みビデオを編集するのは大変そうです。本稿では、テキストの編集のみに基づいて、話している人の音声と口の動きを変更させたり、発話の途中などの難しいカットポイントを自然につなぎ合わせたりなど、シームレスな動画合成に取り組んでいます。アプリケーションは、新しいスクリプトを基にさまざまなビデオ作品からスピーチの動きを抽出し、機械学習を使用してそれらを自然に見えるビデオに変換します。俳優やパフォーマーが言葉をまぎらわしたり、話し間違えたりした場合、ユーザーがスクリプトを編集するだけで、アルゴリズムはビデオのどこか別の場所で話されたさまざまな単語や単語の一部から正しい単語を組み立てることができます。ライターがスペルミスや不適切な単語をリタイプするのと同じように、ビデオをリライトするような感じです。アプリケーションは主に3種類の編集操作に対応しています。•既存の単語を削除するビデオから1つ以上の連続した単語が削除できる(たとえば、文言の簡略化や「um」や「uh」などのフィラーの削除)現在、ユーザーごとに既存のオーディオやビデオコンテンツをカスタマイズするのは莫大な費用と労力がかかってしまいます。このツールを使えば、例えば、教育ビデオを異なる言語や文化的背景に合わせて微調整したりし、異なる年齢に合わせてビデオの内容を調整するなど、パーソナライズされたビデオ作成が簡単に行えるようになりそうです。5段階のアプローチ入力としてスクリプトで指定された任意の編集操作とトーキングヘッドのビデオ記録を取ります。システムはこれらの入力を以下の五つの主要な段階(上図)で処理します。1、最初のステップ:ビデオとテキストを揃える音素は、母音と子音に分けられた意味論を区別する言語における音の最小単位です。各音素はそれ自身の対応する口形を持つため、まずはビデオとテキストの間の正確な位置合わせを行うことが必要です。整列ツール、P2FAを使用し、さまざまな音素を区別することに加えて、各サウンドレベルの開始時刻と終了時刻をマークします。ステップ2:3Dパラメトリックヘッドモデルをビデオに登録する新しいシーケンスは、あるフレームの表情や他のフレームの頭の姿勢/向きと組み合わせたりなど複数のフレームをブレンドすることで合成できます。ここでは、事前に入力のトーキングヘッドビデオの各フレームに3Dパラメトリック顔モデルを登録し、頭部姿勢や、反射率や表情、光線など、ビデオの1フレームごとに257パラメータのベクトルを取得しておきます。(ここまでは、入力ビデオごとに1回実行される前処理ステップです)ステップ3:リップサーチ次に、与えられた編集操作(クモをキツネに変えるなど)に対して、新しい単語と似た形をした入力ビデオのセグメントを見つけます。マッチング手順では、視覚的に互いに似ているように見える聴覚的に異なる音素のグループを、良い可能性のあるマッチングとして考えます。クモ(スインダー)をキツネ(Fox)にするには、本来は“f”唇と“ox”唇が必要です。,“v”と“f”では,視覚的に大きな差はありません。動画に毒蛇(Viper)が登場したなら、“v”の唇形を取り出して、“ox”の唇形と組み合わせれば、“fox”の動作をさせることができます。パラメータのリタイミングとブレンドこのプロセスでは、各セグメントの長さをリセットします。抽出したサブシーケンスは同一性においてフレームの一部には対応しますが、長さにおいては対応せず、組み合わされると不自然なビデオを生成し、連続するシーケンス間の遷移は不自然に見える可能性が高いからです。ここでは、2で事前に登録した3Dフェイスパラメータモデルを使用し、異なる入力フレームからの異なる特性(ポーズ​​、表情など)を混合し、それらをパラメータ空間で混合します。操作によって生じる長さの変化を考慮してタイミングを調整し、シーケンスがリタイミングされます。リタイミングされたシーケンスは、現実的なピクセルでビデオの残りの部分に自然に溶け込むポーズパラメータを生成します。ステップ5、フェイスレンダリング4の処理ステップの出力は、新しい所望の顔の動きに対応するリタイミングされた背景のビデオクリップを記述するパラメータシーケンスです。修正されたパラメータシーケンスにマッチする写実的なトーキングヘッドビデオをGANを用いて合成します。首の一部を含む口元の領域をマスクアウトし、上に目的の表情を持つ新しい口元をレンダリングします。主なアプリケーションは、トーキングヘッドビデオをテキストで編集することです。フレーズの移動と削除、新しい単語を追加するというような操作ができますが、他にも様々な現実的な用途に使えます。ソースとなるビデオがターゲット言語に類似した口形素を含む限り、このアプローチはビデオ翻訳にも使用できます。口形素探索パイプラインは言語に依存しないため、新しい言語をサポートするために必要なのは、単語を個々の音素に変換する方法だけです。Assistantなどの音声アシスタントの登場により、ユーザーは音声ベースのインタラクションに慣れてきました。音声に対応するビデオを配信するためにこのアプローチを使うことができます。なりたい顔の俳優のビデオが与えられれば、このツールを使って、任意の言葉で俳優を喋らせることもできてしまいます。3比較こアプローチを他のトーキングヘッドビデオ合成技術と比較しています。Portraits(DVP)方式で出力された文字のレンダリングイメージと比較したものです。(DVP)では歯がズレて見えるのに対し本手法では自然に合成できています。フレームを削除するタスクにおけるMorphCutと比較してたものです。MorphCutはフレーム2、3、4のシーン削除タスクに失敗していますが、本手法では正常に削除できています。詳しい結果はこちらで確認できますこの記事をシェアするLINE記事の内容等について改善箇所などございましたら、お問い合わせフォームよりAI-SCHOLAR編集部の方にご連絡を頂けますと幸いです。1ベストからブラジャーに。3建築デザインとAI。Dee...東京オリンピックにも採用、急速に利用が広がる「顔認証」...低解像度ビデオもすぐに高解像度に変換できる超解像アルゴ...Googleが公開した自然言語処理の最新技術、BERT...モデルの脆弱性・様々な精度はデータセットの「粒度」でわ...深層学習×マルチモーダル。マルチモーダル学習で未来が広...MuZeroの衝撃。Dee...低解像度ビデオもすぐに高解像度に変換できる超解像アルゴ...Googleが公開した自然言語処理の最新技術、BERT...MuZeroの衝撃。お取り扱いについて株式会社wevnal(以下「当社」といいます。)は、AI-SCHOLAR(以下「本サイト」といいます。)をご利用になる方(以下「ユーザー」といいます。)を遵守すると共に、以下のプライバシーポリシー(以下「本プライバシーポリシー」といいます。)に従い、適切に取り扱うものとします。本プライバシーポリシーにおいて、個人情報とは、生存する個人に関する情報であって、当該情報に含まれる氏名、生年月日その他の記述等により特定の個人を識別することができるもの(他の情報と容易に照合することができ、それにより特定の個人を識別することができることとなるものを含みます。)を意味するものとします。当社は、ユーザーの個人情報を、以下の目的で利用いたします。当社は、ユーザーの同意を得て、以下の提供先に、以下の提供情報内容を以下の手段又は方法で提供することがあります。(1)提供先について登録ユーザーが本サイトにおいて資料の請求、閲覧もしくはダウンロードする場合、その資料の提供元である本サイト掲載企業(当該提供元企業から委託を受けた者を含みます。所属企業ではなく、企業に所属する個人が提供元である場合もあります。)に、以下の情報が提供されます。電磁的な方法による送信また、次に掲げる場合は、関係法令に反しない範囲で、ユーザーの同意なく個人情報を第三者に提供することがあります。一部または全部を外部委託することがあります。委託先における個人情報の取扱いについては当社が責任を負います。当社は、個人を特定できないよう加工した統計データを作成することがあります。当社は、統計データを何ら制限なく利用することができるものとします。して、ユーザーご本人に限り、個人情報の開示、訂正、追加または削除、利用停止、ならびに第三者への提供の停止(以下「個人情報の開示等」といいます)を求めることができるものとします。以下の場合は個人情報の変更等に応じないことがあります。他の法令に違反することとなる場合また、当該個人情報の変更等に多額の費用を要する場合、その他の、個人情報の開示等を行うことが困難な場合であって、ユーザーの権利・利益を保護するため必要なこれに代わるべき措置をとるときは、個人情報の変更等に応じないことがあります。当社サービスは、Cookie及びこれに類する技術を利用することがあります。これらの技術は、当社による当社サービスの利用状況等の把握に役立ち、サービス向上に資するものです。Cookieを無効化されたいユーザーは、ウェブブラウザの設定を変更することによりCookieを無効化することができます。Cookieを無効化すると、当社サービスの一部の機能をご利用いただけなくなる場合があります。当社は、法令等の定めがある場合を除き、必要に応じて、本プライバシーポリシーを変更することができるものとします。プライバシーマークに関して当社は、プライバシーマークの認証を取得しています。パスワードをお忘れの。