今夏リリースのリアルタイムリップシンクミドルウェアをデモを交えながらご紹介します。2D、3D問わず地道な作業が必要となるリップシンク対応。新しいリップシンクミドルウェアでは言語に依存せず、2D3D双方に対応したリアルタイムでの音声解析技術を実現しています。ADX2」を利用したことがない方には勿論のこと、プログラマやサウンドの方だけでなく、プランナー、グラフィックデザイナーの方にもお役立ていただける技術となっています。機械学習部」を立ち上げ勉強会を開催するなど、機械学習の布教に努める。近年では、口パク解析ミドルウェア「Clipper」の次世代版となる新製品の研究開発を行っている。近年目覚ましい成果を上げているニューラルネットワークですが、音声認識分野への適用については未だ様々な課題が残されています。中でも、口パクを解析するというタスクは前例が少なく、世の中にもノウハウがありません。私たちが数年間の研究で培ったノウハウを共有することで、音声認識分野の技術の発展の一助になれば幸いです。株式会社CRI・ミドルウェア研究開発部エンジニアもっと見るCRI・ミドルウェア入社後、ゲーム機/スマートフォン向けミドルウェアの開発・サポートに従事。現在は主にUE4プラグインの開発サポートを担当。キャラクターに命を吹き込んで魅力的に見せるためには、様々な工夫が必要です。そのひとつが、ボイスに合わせてキャラクターの口を自然に変形させる「リップシンク」でしょう。これをびっくりするほど簡単に実現するのが、今回紹介するゲーム向けリップシンクミドルウェアです。生む驚きと楽しさを皆さんに紹介できれば嬉しいです。