背景
勾配ベース(Gradient-based)の手法はレンダリング, 機械学習, 機械ビジョンで重要になってきている.
レンダリング(パスパストレーシング)における微分はいろいろ研究されてきたが, 機械学習と組み合わせたものはあまりなかった.
Neural 3D Mesh などがあるが, シーンや照明環境が限定的であった.
提案手法では, 汎用目的のモンテカルロレイトレアルゴリズムを微分可能にして機械学習と組み合わせることができている.
アルゴリズム
Dirac の delta 関数(visibility 項)を含んでいるので直接には微分できない.
Edge sampling を提案して効率よく微分を計算できるようにした.
ソースコード
公開されたソースコードには, 論文 submit 後の改善が取り込まれている.
- CUDA 化して早くした.
- 自動微分を手動の微分で展開して早くした
応用
ディープラーニング用のデータセットを CG で作ることで, バーチャルでいろいろできるようになり, 夢が広がります.
フォトリアルなレンダリングと組み合わせることができれば, たとえば
- 自動運転用のシーンを CG で.
- 顔認識やポーズ, 人物検出を CG で
- よりリアルで顔の特徴を考慮した GAN のようなモーフィング
- 写真からの材質推定(直接光, 反射光, etc)
EoL.