グーグルがTensorFlowに3Dデータ向けライブラリ追加、スマホ向けAR強化の一環か

未分類
この記事は約2分で読めます。

グーグルが開発する「TensorFlow」に、3Dデータ関連機能を搭載したライブラリ「TensorFlow 3D」が追加されました。スマートフォンにおける3Dのデータの利用を、より導入しやすいものとします。

スマホの3Dシーン認識が進化

ToFセンサーやレーダーなど、3次元位置推定に関するスマートフォンの技術進化が続いています。2020年にはアップルがiPhone 12 Proや新型i Pad ProにLiDARを搭載、より精度の高いAR機能を実現しています。

「iPhone 12 Pro」、「iPhone 12 Pro Max」はLiDAR搭載、AR機能強化 | Mogura VR

「iPhone 12 Pro」、「iPhone 12 Pro Max」はLiDAR搭載、AR機能強化 | Mogura VR

MoguraVR

新型iPad Proが発表 目玉は"Lidarスキャナ"搭載でAR機能が強化 | Mogura VR

新型iPad Proが発表 目玉は"Lidarスキャナ"搭載でAR機能が強化 | Mogura VR

MoguraVR

その一方で、3次元データの利用にはいまだ課題があるというのがグーグルの考えです。同社は「コンピュータービジョンの分野は、近年3Dシーンの認識で目覚ましい進歩を遂げています。(…)しかし3Dデータに対応するツールやリソースが不足しているため、この分野に手を付けることはハードルが高くなっています」開発者ブログに記載。TensorFlow 3Dでを活用することで、このハードルを下げる目的があるものと見られます。

個別オブジェクトの区別や背景との見分けなど

「TensorFlow 3D」には主要な機能(機械学習モデル)が3つ用意されています。ひとつめは「3D Semantic Segmentation(セマンティック・セグメンテーション、画像内の各画素にカテゴリを関連付ける)」モデル。オブジェクトと、背景のシーンを区別することができます。

次に「3D Instance Segmentation(インスタンス・セグメンテーション)」モデル。複数のオブジェクトの集合から、1つ1つを区別することができます。例えばSnapchatのARレンズで、画面に映る複数の人物に、それぞれフィルターをかけるといった動作を実現します。

そして「3D Object Detection(物体検出)」モデルでは、画像内に映る特定のカテゴリーのオブジェクトを見分けます。

これらの機能は、LiDARを搭載していない一般的なスマートフォンのカメラでも動作します。「TensorFlow 3D」のライブラリは、GitHubにて公開中です。

(参考)Next RealityGoogle Blog

タイトルとURLをコピーしました