1. 概要

3Dモデルの生成には現実世界の物体をスキャンしたデータセットが必要だが、大規模データセットが不足している。この研究では、190のカテゴリで6,000の3Dモデルを実世界でスキャンして、スキャン動画や多視点レンダリング、テクスチャ付きメッシュ、ポイントクラウドなどのアノテーションデータとともに公開している。スキャニングの精度は0.1mmと高品質。

*Award Candidate

2. 新規性

高精度に多量の3Dモデルをアノテーションデータとともに公開した。MS COCOやImageNetといった2D画像のカテゴリと共通する3Dモデルを多数包含している。

3. 実現方法

データセットを元に4つの指標を定めている：1) 3Dモデルの頑健性、2) 多視点合成、3) 3D物体の表面の詳細再構成、4) 3D物体生成。
例えば、1)について、ポイントクラウドの各ポイントごとにどの物体に属するかをタグ付けしており、現実世界で起こりえる欠損も考慮したモデリングになっているかを評価し、頑健性を考慮した手法かどうかがわかるようにした。また、4)については、NeRF(Neural Radiance Fields)を評価できるようにしており、多視点で撮影した画像群から3Dモデリングを行ったときのクオリティチェックができるようになっている。

4. 結果

Paper URL: https://openaccess.thecvf.com/content/CVPR2023/papers/Wu_OmniObject3D_Large-Vocabulary_3D_Object_Dataset_for_Realistic_Perception_Reconstruction_and_CVPR_2023_paper.pdf

last updates: July 4 2023