0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

[論文備忘録] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis, 2020

Posted at

NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

機械学習モデル:
NeRF- Representing Scenes as Neural Radiance Fields for View Synthesis….png

xは三次元座標(x, y, z), dは視線の方向, cはRGBカラー, σは密度(不透明度)
σは(x, y, z)のみから決まり、cはそれに加えてdも使う。

dの表現に必要なのは2次元だが、実際には三次元の単位ベクトルで表す。

FΘは、ボリュメトリックレンダリングで各ピクセルの値C(r)を計算するときに使う:

NeRF- Representing Scenes as Neural Radiance Fields for View Synthesis…-1.png

ただし、
NeRF- Representing Scenes as Neural Radiance Fields for View Synthesis…-2.png

離散的には:
NeRF- Representing Scenes as Neural Radiance Fields for View Synthesis…-3.png

ただし、次のように光線上の点を一様分布からサンプルする:
NeRF- Representing Scenes as Neural Radiance Fields for View Synthesis…-4.png

性能を改善するために、以上の手法から改良したところがある。

高周波数の表現を改善するために、xとdの各次元の要素に対して次の変換をしたものをMLPの入力に使う。
NeRF- Representing Scenes as Neural Radiance Fields for View Synthesis…-5.png

ただし、
NeRF- Representing Scenes as Neural Radiance Fields for View Synthesis…-6.png

一様分布から点をサンプルするかわりに、重要そうな点を重点的にサンプルするようにする。
そのために、coarse networkとfine networkを使う。
これまでのように一様分布でサンプルしてcoarse networkを計算し、影響が大きい箇所から重点的にfine network用の点をサンプルする。
最終的なレンダリングにはfine networkを使うが、その計算にはすべてのサンプルを使う(Nc+Nf)

学習では、イテレーションごとに、データセットのすべてのピクセルからランダムにサンプルしたピクセルのバッチを使う。
損失関数は単純に正しい色とレンダリングした色との自乗誤差の合計
NeRF- Representing Scenes as Neural Radiance Fields for View Synthesis…-7.png

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?