2019 年ナウでヤングな 3D 顔復元のメモ

State of the Art on Monocular 3D Face Reconstruction, Tracking, and Applications
https://web.stanford.edu/~zollhoef/papers/EG18_FaceSTAR/paper.pdf

二次元画像から, 三次元画像を復元するには 3DMM(3D morphable model)ベースの手法が主流でしたが, 2018 年後半あたりから, 3DMM を使わず end-to-end で機械学習で顔復元をする手法が流行りだしています.

2018 年

特にコチラ

FML: Face Model Learning from Videos
https://arxiv.org/abs/1812.07603

(co-author に Christian Theobalt と Hans-Peter Seidel が居て強い)

テンプレートとなる blendshapes モデルは必要となりますが, それ以外はビデオから学習してしまいます.

blendshapes モデルの取得

• モデリングで作成する(モデラーに作ってもらう)
• iClone や DAZ3D あたりの 3D ツールのサンプルモデルを買う
• turbosquid あたりに売ってそうなのを買う
• Polywink のサービスを使う https://www.polywink.com/ $499 とコスパよい

2019 年

RingNet

3D supervision なしに復元.
FLAME のパラメータを算出