1. 概要

NeRF(Neural Radiance Field)を用いて多視点画像から3次元モデルを生成する技術は数多く提案されているが、物体表面が極めて強い鏡面反射を起こす素材でできている場合、光沢のある表面を正確に表現することが難しかった。この研究では、非常に強い鏡面反射を持つ物体の表面の高品質なレンダリングと3次元構造の再構築のための、レンダリング技術およびフレームワークを提案している。

2. 新規性

物体の材質と環境光のいずれの特徴もNeRFのレンダラーで取得できるようにしたことで、材質の編集やリライティングも可能にしている。

3. 実現方法

物体の表面情報とライティングの相互作用を学習できるように新たなニューラルレンダリング手法が提案されている。このレンダラーは既存の物理ベースのレンダラーを用いて学習されており、実際のシーンをベースにして物質の材質に関する表現が分離可能となっている。

学習済みのニューラルレンダラーを活用して凍結したモデルを用いて一般的なシーンを表現するためのニューラルサーフェスモデルが提案されている。このモデルで、鏡面反射からの間接的なライティングの合成を可能にしている。

4. 結果

鏡面反射の強い物質の3次元再構成が極めて精緻にできていることが分かる。

また、環境光が変化したときの反射についても、環境光を分離して表現できるため自然な映り込みができている。

Paper URL: https://openaccess.thecvf.com/content/ICCV2023/html/Liang_ENVIDR_Implicit_Differentiable_Renderer_with_Neural_Environment_Lighting_ICCV_2023_paper.html

last updates: Oct 9 2023