ボリューメトリックキャプチャは、人物等の立体的な情報を取得しそのまま3DCG化する技術です。
グーグルの研究者チームは、陰影を編集し、より背景とシームレスなボリューメトリックキャプチャを実現する技術を発表しました。
光の再編集を
グーグルの開発したシステム名は”The Relightables”。330のLEDライトと約100のカメラを備えた、球状の撮影装置を用いて撮影します。
このシステムの画期的なポイントは3点あると言います。
1つ目は、カメラが深度センサーとして機能する点。12.4MPの深度マップをとらえます。
次に、撮影データを合成して編集する際に、機械学習を用いる点です。
そして3つ目が、反射率（reflectance）マップもとらえる点です。深度マップと同期し、AR/VRなどのシーンで、光の状態を編集・操作することが可能になります。
シーンに合わせ陰影を変化
研究者チームは、高解像度の3D画像を生成するという点でボリューメトリックキャプチャ技術の改良が進んできた一方、光についてはあまり注力がされてこなかった、と論文の中で指摘します。
「我々の手法は、リアルに人物への光をシーンに合わせて再構成します。自由な視点からのボリューメトリックキャプチャや新たなレベルでの幾何学的正確さと組み合わせ、ダイナミックなイメージの生成を実現します」とその効果を述べています。
公開された動画を見るとシーンに合わせて人物の陰影が細かに変化し、背景と違和感なく合成されていることがわかります。
グーグルのCreative Labは本技術を用いて、モバイル機器を通して鑑賞する「バーチャルオペラ」を開発、プロトタイプを公開しました。
この研究成果は、SIGGRAPH Asia 2019にて発表されています。
ボリューメトリック（Volumetric）技術についてはこちらの記事でも取り上げています。
インテルによる世界最大規模の実写3D撮影施設、その内部は？
MoguraVR
ソニーの"実写三次元撮影"がすごい。ハイクオリティなデモ動画が公開
MoguraVR
SFさながら、マイクロソフトの「多言語を自由に操る自分のアバター」デモ
MoguraVR
（参考）Next Reality
