このスマートフォンのフロントカメラには3D顔認識センサーが搭載されており、自分の表情を2Dのキャラクター(アバター)に反映させる機能などがあります。Xの機能を活用した動画が公開され、話題になっています。iPhoneX使ってLive2Dを動かしてみた。動画を見てみると、人の動きに合わせてアニメキャラクターの顔も動き、目のまばたきや口の動きなども連動しているように見えます。これは一体......?こちらのアプリを開発したのは、株式会社ViRDの「のしぷ(@noshipu)氏」。Euclid』(※)のキャラクターに反映させて表現しているとのことです。Euclid』:2Dで描かれたキャラクターイラストなどを組み合わせ、3D表現を可能にするソフト。VRコンテンツにも対応。対象者の目と口の開閉に連動ゲームエンジン「Unity」のAR向けプラグインとiPhoneのAR機能「ARKit」を利用することで、顔の表情のトラッキングが可能となりました。Euclid』を使用したとのことです。カメラから自分の顔をトラッキングして2Dキャラに反映させる技術は、これまでにも『FaceRig』などがありました。本アプリではFaceRigのような完全なバーチャルではなく、実際の顔の位置にアニメキャラクターを反映させています。そのため、顔から下は現実といった、バーチャルと現実が合わさったユニークなものとなっています。のしぷ氏は「表情の反映が口の開閉と目の開閉の2つだけのプロトタイプの状態で、これだけ反響があって驚いています」とコメントし、また今後の展開について「顔はヴァーチャルなキャラクターで、それ以外はリアルという状態自体が面白いので、AR動画の配信に取り組んでいきたいです」と述べています。