State of the Art on Monocular 3D Face Reconstruction, Tracking, and Applications
https://web.stanford.edu/~zollhoef/papers/EG18_FaceSTAR/paper.pdf
二次元画像から, 三次元画像を復元するには 3DMM(3D morphable model)ベースの手法が主流でしたが, 2018 年後半あたりから, 3DMM を使わず end-to-end で機械学習で顔復元をする手法が流行りだしています.
2018 年
特にコチラ
FML: Face Model Learning from Videos
https://arxiv.org/abs/1812.07603
(co-author に Christian Theobalt と Hans-Peter Seidel が居て強い)
テンプレートとなる blendshapes モデルは必要となりますが, それ以外はビデオから学習してしまいます.
blendshapes モデルの取得
- モデリングで作成する(モデラーに作ってもらう)
- iClone や DAZ3D あたりの 3D ツールのサンプルモデルを買う
- turbosquid あたりに売ってそうなのを買う
- Polywink のサービスを使う https://www.polywink.com/ $499 とコスパよい
2019 年
RingNet
3D supervision なしに復元.
FLAME のパラメータを算出