VTuberや映像・アニメ業界などからも注目されています。LipSync」に関するセミナーを開催しました。Engine4、そしてSTADIAにも対応しており、2019年10月現在で採用タイトル数は5000を突破しています。LipSync」がいかにそれを解決・解消するか......という構成で講演を行いました。ひとつずつ紹介していきましょう。◆従来の手法の問題・課題1:2種類の口パクデータ生成法キャラクターのセリフやボイスに合わせて、かつては手作業でキャラの口の形を仕込んでいた口パク。デザイナーがつきっきりで手がけることでクオリティは高いものにできますが、セリフやボイス量は大ボリューム化の一途をたどり、やがて現実的なものではなくなっていきました。自動化の波がやってくることになり、脚光をあびたのが音声解析です。シンプルなのは、再生音声の音量の大小だけを参照し、その変化に合わせて開口度を変えるという「音声ベース」の手法です。データ作りやすく、かつ、言語を選びませんが、品質という点ではあくまで"そこそこ"といえます。品質を高めるための手法としては、フォルマント(音声の周波数のピーク)を解析して母音を特定する「フォルマントベース」が挙げられます。「音声ベース」ではなしえなかった母音の特定ができますが、抽出されるフォルマントチャートの傾向が話者によって異なる、子音を含むすべての音素を判別できるわけではないなどの課題が残ります。した手法を元に、3Dモデル側は音素別に用意した表情を適宜切り替えるのか、シンプルに口は縦方向にのみ動かすのか、母音は気にせず口を音に合わせ縦と横の2軸に動かすのかなどさまざまな構造が考えられ、口パクデータと3Dモデル、どちらかをどちらかに合わせる必要がありました。LipSync」ではディープラーニングが使用されており、音声の波形から判断して以下の2種類の口パクデータを生成。広く対応できる柔軟性を確保しました。■音素別ブレンド量形式:「aが80%、eが20%」のように音声に含まれる音素の割合を解析また、上記の2形式とは別に、入力音声に対する「舌の高さ」も解析可能となっています。日本語でいうなら「ま行」、「バ行」、「パ行」のように、「一度口を閉じなければ発音できない」音を唇音といいます。「イイイイ」というセリフと「右耳」というセリフでは、母音はすべて同じながら、口の開き方が異なります。前述のフォルマント解析では唇音を判別できないので、別途、何らかの手段で対応する必要がありました。LipSync」は唇音にも対応。入力音声の中に唇音がある場合、「(一瞬だけ)口を閉じた状態」というような状態を含む口パクデータを生成できます。前述した「フォルマントベース」で生成されたデータで口パク演出を作る場合は、その言語の母音の数に対応した表情パターンを用意・追加する必要がある。LipSync」のソリューション「Width-Height形式」で生成された口パクデータは「この音は口の高さが0.8、幅が0.5」というように音を参照して幅と高さを割り出すので、母音による影響を受けづらく、どのような言語であっても影響が小さいという強みがあります。LipSync」の使い方が紹介されました。一つ目は、音声再生と同時に口パクデータを生成するリアルタイム方式が挙げられました。LipSync」で定義されているオブジェクト(画像でいう「口パクデータ抽出器」)がアタッチされ、入力された音声が出力されるのと同時に口パクデータが生成され、モデルに即時反映されます。手軽ですが、解析制度の兼ね合いで品質には限度があるほか、データ量に応じた解析負荷がかかります。ADX2」の使用感やインターフェースを踏襲。二者を連携させることも可能です二つ目は、事前に音声データの波形から口パクデータを生成し、それを土台に編集する手法です。csvファイルで生成される口パクデータには「口の幅」、「口の縦の開き」、「舌の高さ」、「a、i、u、e、oのモーフターゲット値」がすべてフレーム単位で記録されるので、それを任意の使い方で3Dモデルに反映させることができます。csvファイルには音量も記録する方向で検討中とのことです。LipSync」は今秋リリース予定。Unity」と「事前解析用コンソールツールのみ」という2種類のパッケージが展開予定です。柴田氏は「その他の使用形態に関しても柔軟に対応いたしますので、気になったならお気軽にご相談ください」と語り、セミナーはしめくくられました。当サイトに掲載の記事・見出し・写真・画像の無断転載を禁じます。Inc.人気ニュースランキングや特集をお届け...メルマガ会員はこちら。