コメントスマホ画面を見ることなく感情を伝えたり、複数のユーザーで投票も行えるソフトバンクによるXR(クロスリアリティ)技術の展示内容をまとめてみました。実際にその技術を使って短期間公開された限定作品もデモ展示され、あのキャラが最新技術の展示会にまさかの登場を果たしました。2023」の「XRライブ」ブース。おそ松さんの姿につい足が止まってしまいました。XRは「AR(拡張現実)」「VR(仮想現実)」「MR(複合現実)」といった仮想世界がかかわる先端技術の総称。去年10月に短期間公開されたこの「講談のおそ松さん」でもXR技術が用いられていました。上下左右の動きで投票を行う様子。指定時間内に集計された判定結果で展開が変わります。スマホをシェイクしてアクションを行っているところ。ブースのスタッフによると「投げ笑い」「投げ泣き」と呼ぶそうです。実際の操作風景はこんな感じです。展示物によると、観客がアクションを送るためにスマホをみることは没入感や一体感を損ねるため、手元を見ずとも大丈夫なほど操作が簡易化されたアプリで簡単に入力できるようにしたとこのこと。スマホに内蔵される加速度とジャイロのセンサー数値情報を繰り返し機械学習させたことでユーザーの操作を正しく判定できるようになったほか、複数の操作情報を集計し演出などに反映させることで一体感を生み出すことにも成功したそうです。実際に運用した際には技術的のみならず使用感についての課題も多く発見されたため、今後より多くのセンサーを活用して直感的なアクションを入力できる「直感センシング」実現に向けた研究開発に取り組むとしています。こちらは現時点での演出例。タップで「笑い」、シェイクで「泣き」など簡単操作で感情表現をアクションとして送れるほか、上下左右の動きでユーザーが見たい演目の投票を行えたり、全員の操作でゲージを溜めたりなどができるようです。