Pocket(前編から続く)リアルタイム3Dマッピングを実現するためにUnityを選択3Dプロジェクションマッピングシステムで投影している映像はUnityから出力しているという。「リアルタイムで人間の体に3Dマッピングをするためには、ダンサーが動くのに合わせて映像も変化する必要があります。ダンサーが横に動いたら投影した映像も横に動きます。ダンサーがどう動くか事前にはわらかないため、プリレンダーはできません。そのため、ダンサーの動きに合わせて映像が動的に変化するようなシステムをつくる必要がありました。そのためにはいくつか手法があります。プログラムを書いて映像を自動生成するようにしてもいいしですし、色々とあるのですが、今回3D表現もリアルタイムでする必要があったため、『ある程度リッチな表現にしたいね』ということになりました。そこで、シャドウの演出だったり、アーマースーツのマテリアルだったり、そういった部分を詰めたかったというところもありUnityを採用したわけです。Unityの良い点は外部アプリケーションと連携できるところです。開発段階のプロジェクターがセンシングしている内容をCGに反映させる部分を作成する必要があるのですが、Unityはその実装が比較的容易でした」(吉田氏)3Dプロジェクションマッピングシステムの構成としては、体用プロジェクターが人体に付けた光学マーカーを認識して体がどう動いているのか検知して勝手に映像を動かしてくれる。体にはさらに回転センサーというものが付加されている。体が回転するとそのデータがワイヤレスでPCに送信され、別のPCと同期。その同期データをUnityが管理して、映像を出力している。「演出の流れとしては、まず『空手演舞』に合わせて映像が動きます。その次に『ロボットダンス』となり、最後に『キューブダンス』となるわけです。これらをUnityで実現していくにはどうしたらいいのか、というところからスタートしています。これらを全部同じ軸で実現するのは無理なので、それぞれのパートによってプリレンダー映像を使ったり、CGアニメーションを使ったり、モーショングラフィックを使ったり、という試みをしています。今回の演出のキモになる部分ですが、これらの様々な演出が音楽に同期する必要があります。レンダリングしている映像であれば訳ないことですが、これをリアルタイムでやるには面倒が生じます。いうのも、Unityでインタラクティブものを作成する際の設計思想がイベントベースとなっているからです。ゲームのボタンを押したらこうなるとか、なにかが起こったらこうなるという設計思想ですので、タイムコードベースでシーンを制御するというのはやりにくい。そこで今回は、早い段階でカットシーンエディタSLATEを使うと決めました。カットシーンエディタSLATEというのは、ゲームでいうと、『必殺技に入る前の決め打ちのアニメーション』というようなシーンを作るためのUnityのアセット(拡張プラグイン)です。これを使うことで、アニメーションの再生やタイムライン上で実行できるスクリプトの呼び出しの管理などがしやすくなります」(吉田氏)「空手演舞」パートでは、ダンサーの体と背景にプリレンダー映像を投影。Unityで動かしているわけではないという。回転情報を元にダンサーの姿勢を推定してジオメトリをデフォームしている。「マッピング的に効くライティングをしました。生々しくライティングしても、マッピング的にはいい感じにはなりません。そこでわざと、キラッとスペキュラーが出るようなライティングをしています。リアルではない“いい感じ”に誇張するためのシェーダーも作成しています」(吉田氏)次の「ロボットダンス」でマッピングされるロボットスーツのアニメーションはDCCツールで作成している。4Dで作成したアニメーションをUnityに持ってきてタイムラインに合わせて再生しています。同時に、Unityを使って後付けでライティングも変化させているほか、ロボットスーツ自体もダンサーの体の動きに合わせてリアルタイムデフォームされるようになっています」(吉田氏)最後の「キューブダンス」パートではモーショングラフィックによる演出が実現している。4DのMoGraphをやりたいので、それをUnityに持っていけますかね?』という話からスタートして、Alembicで読み込んで再生してみました。シャドウ受けにはやはり体のジオメトリックを使用しています。Unityの構成としてはこのような感じとなっており、これらをタイムラインに並べて再生しているという仕掛けです。ゲーム制作と比べて、そんなに複雑なことをしているわけではありません」(吉田氏)株式会社ピクスが開発し、同社とモンブラン・ピクチャーズ株式会社が運用を行った3Dプロジェクションマッピングシステムと、そのシステムを活用して行われたライブショー「EXISDANCE」。内容の解説がなされた後は、「EXISDANCE」開催の当日に米ラスベガスで直面した苦労話など、さまざまなエピソードが語られた。締めくくりとして受講者からの質問に答えるかたちで活発な質疑応答がなされ、盛況のうちに本カンファレンスが終了した。