光を編集することでよりリアルにESTテックボリューメトリックキャプチャは、人物等の立体的な情報を取得しそのまま3DCG化する技術です。グーグルの研究者チームは、陰影を編集し、より背景とシームレスなボリューメトリックキャプチャを実現する技術を発表しました。Relightables”。330のLEDライトと約100のカメラを備えた、球状の撮影装置を用いて撮影します。https://www.youtube.com/watch?v=anBRroZWfzIこのシステムの画期的なポイントは3点あると言います。1つ目は、カメラが深度センサーとして機能する点。12.4MPの深度マップをとらえます。次に、撮影データを合成して編集する際に、機械学習を用いる点です。3つ目が、反射率(reflectance)マップもとらえる点です。深度マップと同期し、AR/VRなどのシーンで、光の状態を編集・操作することが可能になります。研究者チームは、高解像度の3D画像を生成するという点でボリューメトリックキャプチャ技術の改良が進んできた一方、光についてはあまり注力がされてこなかった、と論文の中で指摘します。「我々の手法は、リアルに人物への光をシーンに合わせて再構成します。自由な視点からのボリューメトリックキャプチャや新たなレベルでの幾何学的正確さと組み合わせ、ダイナミックなイメージの生成を実現します」とその効果を述べています。公開された動画を見るとシーンに合わせて人物の陰影が細かに変化し、背景と違和感なく合成されていることがわかります。Labは本技術を用いて、モバイル機器を通して鑑賞する「バーチャルオペラ」を開発、プロトタイプを公開しました。2019にて発表されています。ボリューメトリック(Volumetric)技術についてはこちらの記事でも取り上げています。VRMoguraVRソニーの"実写三次元撮影"がすごい。・3Dデータを手軽にVRへ。