グーグルの実写3D撮影技術 光を編集することでよりリアルに

未分類
この記事は約2分で読めます。

ボリューメトリックキャプチャは、人物等の立体的な情報を取得しそのまま3DCG化する技術です。

グーグルの研究者チームは、陰影を編集し、より背景とシームレスなボリューメトリックキャプチャを実現する技術を発表しました。

光の再編集を

グーグルの開発したシステム名は”The Relightables”。330のLEDライトと約100のカメラを備えた、球状の撮影装置を用いて撮影します。

The Relightables: Volumetric performance capture of humans with realistic relighting
Published in SIGGRAPH Asia 2019 Technical Papers Project page: Kaiwen Guo, Peter Lincoln, Phil...

このシステムの画期的なポイントは3点あると言います。

1つ目は、カメラが深度センサーとして機能する点。12.4MPの深度マップをとらえます。

次に、撮影データを合成して編集する際に、機械学習を用いる点です。

そして3つ目が、反射率(reflectance)マップもとらえる点です。深度マップと同期し、AR/VRなどのシーンで、光の状態を編集・操作することが可能になります。

シーンに合わせ陰影を変化

研究者チームは、高解像度の3D画像を生成するという点でボリューメトリックキャプチャ技術の改良が進んできた一方、光についてはあまり注力がされてこなかった、と論文の中で指摘します。

「我々の手法は、リアルに人物への光をシーンに合わせて再構成します。自由な視点からのボリューメトリックキャプチャや新たなレベルでの幾何学的正確さと組み合わせ、ダイナミックなイメージの生成を実現します」とその効果を述べています。

公開された動画を見るとシーンに合わせて人物の陰影が細かに変化し、背景と違和感なく合成されていることがわかります。

The Relightables Technical Video

グーグルのCreative Labは本技術を用いて、モバイル機器を通して鑑賞する「バーチャルオペラ」を開発、プロトタイプを公開しました。

An opera in your own home - Behind the scenes
Learn more about Opera Queensland's experimental Augmented Reality (AR) experience created in partnership with Google's Creative Lab.

この研究成果は、SIGGRAPH Asia 2019にて発表されています。

ボリューメトリック(Volumetric)技術についてはこちらの記事でも取り上げています。

インテルによる世界最大規模の実写3D撮影施設、その内部は?

インテルによる世界最大規模の実写3D撮影施設、その内部は?

MoguraVR

ソニーの"実写三次元撮影"がすごい。ハイクオリティなデモ動画が公開

ソニーの"実写三次元撮影"がすごい。ハイクオリティなデモ動画が公開

MoguraVR

SFさながら、マイクロソフトの「多言語を自由に操る自分のアバター」デモ

SFさながら、マイクロソフトの「多言語を自由に操る自分のアバター」デモ

MoguraVR

(参考)Next Reality

タイトルとURLをコピーしました