1. 概要
単眼カメラで撮影された動画から、全く別の視点から見たときの映像を違和感なく再構成する研究。NeRF(Neural Radiance Fields)を用いて多視点画像から3Dモデルを生成する研究を時系列へ拡張した手法としてDynamic NeRFsも提案されているが、物体が激しく動くなどシーンが複雑だと再構成された画像がぼやけてしまうという問題があった。この研究では、頑健なDynamic NeRFの手法を提案している。
*Award Candidate: Honorable Mention
2. 新規性
MLPの重みにシーン全体の時空間情報をエンコードするのではなく、シーン内の動きのある対象に近いカメラ位置からサンプリングして特徴を集め新たな視点の画像を合成することで、動きのある物体のブレやボケに強いNeRFを実現している。
3. 実現方法
時刻 i におけるサンプリング点 X を入力として、動きのある物体の軌跡を予測し、時空間的に近いサンプリング位置を探す。候補のサンプリング点に対し、画像特徴を抽出しサンプリング点の色と密度をRay Transformerから予測し、ボリュームレンダリングを施して任意の時刻の新たな視点からの画像を生成する。
4. 結果
動きの激しい物体でも消えたりボケたりすることなく、任意視点でシーンを再構成できている。
last updates: July 4 2023