Inverse Path Tracing for Joint Material and Lighting Estimation
https://niessnerlab.org/projects/azinovic2019inverse.html
Authors 強い. Last author が Mattias Niesner でより強い.
概要
Photograph(RGB) + geometry(segmentation + depth), もしくは RGBD synthetic 画像からマテリアルと照明パラメータを推定する. Stochastic Gradient Descent で最小化問題を解く.
計算は昨今(2019 年時点)の CPU(8 cores)で数分程度.
3.1 Light Transport Simulation
Google を救った Eric Veach の博士論文に載っています.
優秀なレンダリング若人さまにおかれましては中学校で読破済みかと存じますね.
4. マテリアル
Disney principled BSDF を使う(10 parameters).
Disney principled BSDF ではパラメータが [0.0, 1.0] の範囲にあるので都合がよい.
(ちなみに subsurface には対応していない)
モンテカルロレイトレーサー向け Disney principled BSDF の実装はたとえば PBRT-v3 や Blender/Cycles https://developer.blender.org/D2313 , appleseed renderer などにあります(我々の principled BSDF 実装も, ソースコードを整理し近いうちに公開したい).
Fresnel 項の扱いが異なっているので注意ください(Blender/Cycles だと OSL ベースなので fresnel は Closure(BSDF) の外で扱う)
微分の計算
論文では数式で示されていて, 実装上は手計算したとあるのみ.
Ray differentials
Tracing Ray Differentials
https://graphics.stanford.edu/papers/trd/
Path differentials
Path differentials and applications
http://graphics.cs.kuleuven.be/publications/PATHDIFF/
あたりが参考になるでしょうか.
openshadinglanguage では Dual で differential geometry(shading point の微分)を扱えるようにしています.
総評
アプローチとしてはオーソドックスな感がありますので, 丁寧に微分を計算して実装すれば再現できるものと思われます.