背景
- 多視点画像から, 人物 face の高精細なメッシュを復元したい.
今回は Multi-View Stereo on Consistent Face Topology を取り上げます.
論文
Multi-View Stereo on Consistent Face Topology
http://vgl.ict.usc.edu/Research/XimeaRiver/
内容
template mesh
なんらかのクリーンなトポロジを持つ template mesh があるとよい.
artist が作ったものが理想.
論文では Digital Emily model を template mesh として利用.
左右対称にするために, 形状処理をして頂点の位置を対象にしている.
volumetric 表現
volume 表現(tetra mesh)をすることにより, フィッティングの精度をあげる.
mesh の tetra mesh 生成には tetgen
libigl でも使えるかしら?
https://github.com/libigl/tetgen
facial landmark 検出
おなじみの dlib を使って facial landmark を検出する.
PCA
Laplacial Legularization
T.B.W.
Rigid stabilization of facial expressions
https://studios.disneyresearch.com/2014/07/27/rigid-stabilization-of-facial-expressions/
Ananatomically-constrained local deformation model for monocular
face capture
https://www.youtube.com/watch?v=u5k2EjsIY2Q
目まわり(eye socket)
T.B.W.
HW
- Ximea 2048x2048 monochrome カメラ x 12 台
- LED blue light
- 72 Hz