準備

Basel Face Model 2009(BFM)
Expression Basis
pre-trained model

のデータが必要になります. Basel Face Model については, 利用規約(商用利用 NG など)に同意して登録することで, ファイルのダウンロードが可能になります.

Expression Basis なども, 商用利用 NG にっていますので注意ください.

あとは readme.md にある通りにセットアップするだけです.

動作

TensorFlow r1.14 + GPU(pip install tensorflow-gpu. NVIDIA GPU) で動作確認しました.
だいたい標準的なライブラリ(e.g. scipy)を使っていますので, python 環境が整備されていればハマるところはなしに demo.py が動きます.

生成された .obj を meshlab で開き, うまく推論できているのを確認しました.

Voila!

考察

詳細は論文にありますが, ネットワーク自体はあまり特殊なものではなく, ResNet をベースにしているため, tflite に変換して動くのを確認しました(近いうちにコード公開予定).
また, ROCm TensorFlow でも動く(学習できる)ものと思われます.

顔領域検出(landmark 検出)

任意画像から形状復元するためには, facial landmark 5 点を使って顔領域を crop し, network に与えています.

論文では,

How far are we from solving the 2D & 3D Face Alignment problem? (and a dataset of 230,000 3D facial landmarks)
https://github.com/1adrianb/2D-and-3D-face-alignment

https://github.com/1adrianb/face-alignment
(pytorch 実装)

の landmark detector を使っています(そして, 検出された 68 点から代表となる 5 点を利用)

上のは torch or pytorch 実装になっていて, Deep3DFaceReconstruction(TensorFlow) と組み合わせて利用するには面倒ですね.

facial landmark 検出の TensorFlow/TFlite の実装を探すか,

あまり横顔になっていない場合, dlib の landmark 検出でも代用できるかと思います.

BlazeFace を使う手もあります.

もしくはユーザに顔領域を指定してもらうか, でしょうか.

TODO

tflite 化してモバイルで動かす
Basel Face Model の依存性をなくして学習したい(FML: Face Model Learning from Video https://gvv.mpi-inf.mpg.de/projects/FML19/ あたりの手法を使うなど). 商用利用できるように(Basel Face Model のライセンスを買うという手もあるが)