グーグルの実写3D撮影技術 光を編集することでよりリアルに

未分類
この記事は約2分で読めます。

ボリューメトリックキャプチャは、人物等の立体的な情報を取得しそのまま3DCG化する技術です。

グーグルの研究者チームは、陰影を編集し、より背景とシームレスなボリューメトリックキャプチャを実現する技術を発表しました。

光の再編集を

グーグルの開発したシステム名は”The Relightables”。330のLEDライトと約100のカメラを備えた、球状の撮影装置を用いて撮影します。

YouTube
作成した動画を友だち、家族、世界中の人たちと共有

このシステムの画期的なポイントは3点あると言います。

1つ目は、カメラが深度センサーとして機能する点。12.4MPの深度マップをとらえます。

次に、撮影データを合成して編集する際に、機械学習を用いる点です。

そして3つ目が、反射率(reflectance)マップもとらえる点です。深度マップと同期し、AR/VRなどのシーンで、光の状態を編集・操作することが可能になります。

シーンに合わせ陰影を変化

研究者チームは、高解像度の3D画像を生成するという点でボリューメトリックキャプチャ技術の改良が進んできた一方、光についてはあまり注力がされてこなかった、と論文の中で指摘します。

「我々の手法は、リアルに人物への光をシーンに合わせて再構成します。自由な視点からのボリューメトリックキャプチャや新たなレベルでの幾何学的正確さと組み合わせ、ダイナミックなイメージの生成を実現します」とその効果を述べています。

公開された動画を見るとシーンに合わせて人物の陰影が細かに変化し、背景と違和感なく合成されていることがわかります。

YouTube
作成した動画を友だち、家族、世界中の人たちと共有

グーグルのCreative Labは本技術を用いて、モバイル機器を通して鑑賞する「バーチャルオペラ」を開発、プロトタイプを公開しました。

YouTube
作成した動画を友だち、家族、世界中の人たちと共有

この研究成果は、SIGGRAPH Asia 2019にて発表されています。

ボリューメトリック(Volumetric)技術についてはこちらの記事でも取り上げています。

インテルによる世界最大規模の実写3D撮影施設、その内部は?

インテルによる世界最大規模の実写3D撮影施設、その内部は?

MoguraVR

ソニーの"実写三次元撮影"がすごい。ハイクオリティなデモ動画が公開

ソニーの"実写三次元撮影"がすごい。ハイクオリティなデモ動画が公開

MoguraVR

SFさながら、マイクロソフトの「多言語を自由に操る自分のアバター」デモ

SFさながら、マイクロソフトの「多言語を自由に操る自分のアバター」デモ

MoguraVR

(参考)Next Reality

タイトルとURLをコピーしました