Faceware Analyzer とは?
Facial landmark 検出 & 編集ツールです.
オフライン映像向けです.
Analyer だけではあまり使い道がなく, 以下の faceware retargeter と連携して使います.
Faceware retargetter で VTuber を目指すメモ
https://qiita.com/syoyo/items/dd4823352f3bc86b2a18
facial landmark 編集ツールとしてはそこそこ機能があるように見えますが, エディットにおいてはユーザが使いやすいたぐいのものというわけではないです.
facial landmark 検出だけという点では, dlib とか OpenFace とかディープラーニング系の face tracker のほうが性能がよいです.
Faceware Live というリアルタイムトラッキングできるのもありますが(著者は未検証), リアルタイム向けなら iPhoneX とかの face tracker のほうがお手軽そうな気がします.
iPhoneX で顔トラッキングをして Unity で BlendShapes を動かし vtuber を目指す
https://qiita.com/syoyo/items/f0ad3eb4ed3387ee6462
Auto track
だいたい Auto track でうまくトラッキングできます. 基本はこれでだいたい解決します.
必要であれば Neutral face 画像を用意してそれを与えることで, より確実にトラックできるはずです.
Auto track でうまく行かなかった場合, 以下にあるように手動で landmark を編集します.
(あとは, Jaw の位置をアノテートしてより精度高くトラッキングするとかの場合も手作業が必要です)
Train
特定の顔(動画)で landmark 位置を編集し(いわゆるアノテーション), 指示してあげてそれで学習します. 最低 3 フレームは必要です.
Landmark editor
intelligent drag あたりを使うと, 唇形状はうまく画像に合わせてフィッティングしてくれたりします. うまく活用しましょう.
問題点, 制約点
- 映像の特定の範囲だけで auto track したり, train したりなどはできません. 最初に映像をカットごとなどによろしく trim しておく必要があります.
- AutoTrack は映像全体で処理されるので, 映像にカットが含まれていて顔が切り替わるなどですとうまくいかないケースが多い
- フレーム間(時間軸)で landmark を移動させるなどはできません.
- 横顔のトラッキングには強くありません. だいたい 45 度くらいが限界でしょうか.
- AutoTrack では顔全体の画像が必要です. mouth だけトラッキングしたいので口元だけの画像を与えてもうまくトラッキングできません. 適当にダミーの目や眉毛の画像と合成して(landmark detector がうまく理解できればいいので, 人間の見た目で多少おかしくなっていてもよい)ソース映像を用意しましょう.
動画 Aspect ratio
標準的な解像度はサポートとありますが, Premiere Pro のデフォルト? である HDV(1440x1080, aspect ratio 1.3333)は対応していませんでした.
ffmpeg などを用いて Square pixel(aspect 1.0)などに変換しておきましょう.
不都合?
auto track では, 最初のフレームあたりはうまくいかないことが多いようです.
また, ソース動画によっては最初のフレームだけうまくデコードできないのか, シーンを作るときにファイルがすでにある(実際にはファイルは無い)エラーがでるケースがありました.
何フレームかスキップして読み込むことで解決しました.
スクリプト処理したい
スタンダード版(199/year)では, トラッキングしたデータを他のフッテージで使いまわしたり, バッチ処理ができません. 多量の動画をトラッキングする場合は Studio Plus ライセンスを買いましょう
(スタンダード版で 100 本近い動画を手動でマウスぽちぽちで処理しなければならず, 面倒すぎました)
API は python でいじれるっぽい?
TODO
- 機械学習やディープラーニング方面の facial landmark detector を使って, analyzer に渡すことができるか試す(python scripting 経由でいけるか?)
- Analyzer のエディタを自前 facial landmark detector 用の教師データ生成ツールとして使えないか試す
- 少なくとも landmark points を XML で export する機能は付いているので.
- landmark editor では, http://landmark.io/ などがあるが, これらに比べるとまだ Analyzer のほうが使いやすそう
- Faceware Analyzer 以外に, 商用でよいのでいい感じの facial landmark annotation ツールがあるか調べる