事前に観客の反応を予測して映像を作成し、生演奏は映像に合わせて行う。2017」』の企画展ステージで、ギター・ドラムと共演する形で公演。髪の毛などの揺れ動くものは、UNITYのリアルタイム物理で制御。一部楽曲では、初音ミクのモーションを自動生成。共演キャラクターにインターネット検索結果を交えた発話機能を持たせ、自律的に初音ミクと会話させる試みも実施した。新たに開発したキューブ型LED照明装置では、照明パターンをMIDI信号で楽曲と同期させることにより、音に合わせた多様な光の効果を演出。この装置の発光情報をフィードバックし、光に合わせて初音ミクの衣装の光り具合の制御も行った。2017」公式ページ冨田勲×初音ミク「イーハトーヴ交響曲」オーケストラ・合唱と3DCGの初音ミクのリアルタイム共演を実現させた演目。この演目を実現化させるために「R3」が誕生。複数のMIDIトリガーを操作し、そのテンポデータをマスター信号として駆動させている。マスター信号を受取った発音装置が初音ミクの歌唱を実行し、同じ信号を受け取ったアニメーション装置が舞踏を実行。様々な楽曲シーンで、指揮者の指示するテンポ変化・揺れ・加減速に対応できるよう、オリジナルデータとの差異を収束する機能を持たせている。「R3」により、3DCGの初音ミクとオーケストラ、バレエダンサーの共演による公演を実現。可変する楽曲テンポにヒューマンクロックで追従させることで、バレエダンサーと息を合わせた初音ミクの歌唱・舞踏を可能とした。同公演のために、3Dホログラム投影装置〔ビーマーベィビイ®〕と、3次元可動式スクリーンシステム〔アステロイダー®〕を開発。新たな舞台装置開発により、未知なる空間演出も実現。CHICKEN「ray」アーティストと初音ミクのコラボレーション楽曲のプロモーションビデオ収録で「R3」を使用。現実空間でコラボレーションすることにより、後付の映像合成にはない、リアルな共演シーンの映像化を実現。同共演のために、モーションセンサー搭載の実写カメラで視線(位置)情報を測定し、追従してCGキャラクターを移動させる〔カメラワーク〕システムを開発。投影用スクリーン〔R3フィルム〕も円筒形に加工。実写カメラに合わせて、意識的に動くかのような初音ミクの姿を実現した。音声マスター機でのCGキャラクターのコントロールを可能とした。▼使用オプションR3フィルム(投影装置)カメラワーク(機能)ベートーヴェン「第九」演奏会~世界に広がれ!「とくしま“歓喜の歌”プロジェクト」~「R3」により、初音ミクとオーケストラ、そして2,000人の合唱とのリアルタイム共演を実現。生演奏との共演だけでなく、何もない場所に突然現れるという、驚きの演出を実現させた。functions基本機能ボーン直叩きMIDI制御モーションデータをMIDIデータに変換。DAWから3DCGモーションのボーンを直接コントロール。歌詞に合わせたリップや、表情の動きをMIDI信号でコントロール。モーションスイッチ元モーションを上書きしてもリズムが崩れない、高精度なリアルタイム物理とスムージング機能を搭載。複数のモーションを合体し、小さな動きから極端にピークが強調された動きまで、そのブレンド率で動作のダイナミクスを制御。パーツ割込み収録されたモーションに、腕だけや足だけの動作を部分割込みさせ、踊りながら手を振るなどの動作をリアルタイムにアディション。リアルタイムオプティミゼーションX軸Y軸ストレッチや、時間軸の自動アクラセラレーション機能で、過酷な現場条件もリアルタイムで解決。R3フィルム映像投影用に開発した高性能通過スクリーン。Graph(スルーグラフ)霧に等身大の映像を投影できる大型のミストプロジェクションシステム。水のミスト化量、霧の厚みと高さは、DMX信号でリモートコントロール可能。従来のスクリーンと全く異なる独自素材で、光の反射を用いて空中に映像を映し出す3Dホログラム投影装置。ミク×手塚治虫展-冨田勲が繋いだ世界-」3DCGミニシアター投影装置アステロイダー®モーター制御により、3次元的に形状を変えられるスクリーン。リアルタイムに形状を変化させることも可能。ドクター・コッペリウス」』映像投影装置キューブ型LED照明装置LEDバーでキューブを構成した照明装置。照明パターンをMIDI信号で楽曲と同期させ、音に合わせた多様な光の効果を演出できる。自社でのモーションキャプチャー収録に対応。手軽な収録やキャプチャーデータを使った各種コンテンツ製作が可能。ムービー」ビデオ内キャラクターモーションを収録。キャラクターのモーション収録。技術開発にも対応可能です。放送収録ARシステムステージ上のARマーカーを実写カメラで捉え、位置、角度、ズーム情報を取得し、3DCGキャラクターと実写映像を合成。version)DJプレイに追従して3DCGモデルが踊り、バックの映像が変化するVJシステム。スマートフォンにインストールしたアプリで解析を行い、曲の盛り上がりやカメラで認識した色情報によって、3DCGモデル・背景を変化させることができる。www.piapro.net。