口周りに特化した facial capture のメモ.
Disney research が強い.
User-Guided Lip Correction for Facial Performance Capture
スケッチベースの GUI を提供して, よろしく補正する。
T.B.W.
An Empirical Rig for Jaw Animation
キューブのマーカーを使って Jaw の動きをうまくキャプチャ.
マーカーには AruCo を利用(OpenCV のマーカー検出機能を使いやすくしたもの)
ArUco: a minimal library for Augmented Reality applications based on OpenCV
https://www.uco.es/investiga/grupos/ava/node/26
以前(2013 年ごろ)は BSD ライセンスで公開されていたような気もしますが, 今(2019)見てみると GPL ですね.
昨今ですと QR コードなどでよりロバストにトラッキングとかあると思うので, そちらを使ったほうがよいかもです.
8 個の Ximea CB120MG(ビジョン用モノクロカメラ. 1 個 10~20 万円くらい?)
データセット
BIWI 3D audiovisual corpus dataset
http://www.vision.ee.ethz.ch/datasets/b3dac2.en.html
RGB-D カメラで撮ったもの. 利用は(非商用)研究用途に限る.
その他
Violent lips
https://www.violentlips.com/
セレブ御用達 lip tattoo(シール).
セグメンテーションに便利っぽい.
Appearance Capture and Modeling of Human Teeth
https://la.disneyresearch.com/publication/appearance-capture-and-modeling-of-human-teeth/
歯のキャプチャ