背景

レンズを毎回レイトレーシングで真面目に計算するのはめんどい.
(たとえば PBRT-v3 では真面目にレンズシステムの追跡をしていますね)

レンズシステム(複数レンズ面)の特性を入力のレイと出力のレイから求める(近似する)ことができれば, レンズ面を毎回追跡する必要がなくなる.
PSF を計算したり, 収差などをより効率的に求めることができたり, モンテカルロパストレーシングに DSLR(Digital single-lens reflex. 一眼レフカメラ)などのレンズ構成も考慮したときに計算量の削減(e.g. 1/10 の時間に削減)が期待できる.

最近だと Polynomial optics(日本語訳は多項式表現の光学?)が流行っているようなので調べました.

Matrix optics

既存の理論として, matrix optics(ABCD 行列)がある

ABCD 行列
https://en.wikipedia.org/wiki/Ray_transfer_matrix_analysis

Polynomial Optics: A Construction Kit for Efficient Ray-Tracing of Lens Systems(2012)

レンズを Taylor 展開して多項式近似する手法の元となる論文. plane/sphere 近似する.

レイの入力(e.g. センサー面)と出力(e.g. entrance pupil 面)を指定し, 4D ライトフィールド(波長も考慮すれば 5D?)としてレンズシステムを扱う.

多項式近似を求めるのには Maple を使っている.
多項式が求まったら, LLVM などを使って JIT 計算することで高速化することができる.

Efficient Monte Carlo rendering with realistic lenses(2014)

Polynomial Optics(2012)でのTaylor 展開の精度は lens flare を計算するには十分であるが, image 歪み, sharpness 大きい bokeh には不足である.
モンテカルロレンダラーに組み込めるように, importance sampling しやすくしたりなどの拡張.
plane/plane 近似する.

Sparse high-degree polynomials for wide-angle lenses(2016)

https://jo.dreggn.org/2016_optics/lenses2016.html
https://cg.ivd.kit.edu/1962.php

Efficient Monte Carlo rendering~(2014) では, 広角レンズをうまく扱えなかった.
次数をより上げたり(論文では 15 次元まで), light sampling(ライトからのサンプリング)も考慮したりなどで, 広角レンズもうまく扱えるように拡張.
また, 波長を考慮して 5x5 の多項式(5D ライトフィールド?)の関数にしている.

非球面レンズも考慮している.

NeuroLens: Data-Driven Camera Lens Simulation Using Neural Networks(2017)

Polynomial optics(多項式)を, ニューラルネットワークで置き換える試み.

Sparse high-degree~(2016) に比べて同時間でより精度よく扱える.
Sparse high-degree~(2016)に比べて 1.2 ~ 1.5 倍ほど NeuroLens のほうが時間かかる.

トレーニングには時間がかかる. bi-convex のシンプルなもので 1 時間, fisheye では 7.5 時間. 広角になるほど時間がかかる.

Adaptive sparse polynomial regression for camera lens simulation

First author は NeuroLens と同じ.
Sparse high-degree polynomials~(2016)の, Polynomial regression 版(neural ではない機械学習アプローチを使う. regression tree?).

Brute-force calculation of aperture diffraction in camera lenses(2019)

Sparse high-degree(2016)に追加して, aperture stop での回折(diffraction)を考慮したもの.
回折効果も含んだモンテカルロレンダリングに使える...(はず. 論文では aperture stop での diffraction 画像しかない)

まとめ

とりあえず論文が出た時系列で読んでいくとよい.
現状, Polynomial optics も万能というわけではないが, 途中から機械学習的アプローチ(NeuroLens)が出てきている. differentiable renderer と組み合わせてより汎用的に使える技法がでてくるかも.

その他

Monte Carlo Ray-Trace Diffraction Based On the Huygens-Fresnel Principle
- https://arxiv.org/pdf/1802.08814.pdf