はじめに

https://www.youtube.com/watch?v=KeebkkaZhhI
https://augmentedperception.github.io/total_relighting/

写真に写った人物を別の背景写真に乗せてライティングを調和させる技術。
SIGGRAPH 2021でGOOGLEが発表した「Total Relighting」の試みが面白そうなので、
論文に乗ってる関連資料をすこしずつすこしだけ読んでみます。

前提

背景に人を合成する場合。
背景の上からそのまま人の画像だけ貼り付ければ光の当たり方の違いでうまく調和しません。

ファンタジーな背景を映す映画では、ブルースクリーンに背景画像を合成したり、

「マンダロリン」という映画では、円筒上のLEDという大型の装置を用いることで、
背景の合成をおこなっているそうです。

https://ascmag.com/articles/the-mandalorian
これらの取り組みは、どうしても設備に依存してしまうため、
一枚の画像から気軽に行うことを目標にしたのが、「Total Relighting」の取り組みらしい。

Image-Based Relighting

写真からライティングを調和させる技術を一つも知らないので、
関連Paperにかかれているものをいくつか見てみます。

Acquiring the Reflectance Field of a Human Face

https://www.pauldebevec.com/Research/LS/debevec-siggraph2000-high.pdf
「人間の３Ｄデータ」と「写真に写る人間」
例えばそれぞれ、夕暮れのシーンに加工しようと思ったとき、
どちらが楽でしょうか。結論から言えば、「人間の３Ｄデータ」は比較的容易でしょう。

なぜなら、３Ｄデータであれば、
体の複雑な形状、空間内での位置、カメラの視線方向、照明方向・位置を明確に定義することができ、
さらには、肌の「拡散反射」と「鏡面反射」を数値で定義することができるからです。

３Ｄの仮想空間上であれば、
上記のパラメータでどのようにピクセルの色が決まるかを、明示的に計算できます。

しかし写真の場合、
上記の情報を測定して既知の状態で、再現しなければなりません。
特に、ピクセル単位の肌のそれぞれの反射の特性を把握することは極めて難しいです。

そこでこの論文では、
球状に光が当たる装置を利用して頭全体に均一な光を当てます。

肌に光があたったときの特性を推定し、
照明による効果を既知のものとしてセッティングすることで
任意の照明効果を再現します。。