はじめに
この記事は宣伝用です。技術的なところは以下のリンクをたどってください。
OpenCvSharpとDlibDotNetでやるFace Tracking + α
Unityでの async・await・lock
WindowsでTensorFlow liteをビルドする
あと、タイトルはやや釣りぎみです。FaceRigもいいツールだと思います。私が作ったもの（kumaS.FaceTracking）も性能自体はほぼ変わらないレベルまで仕上げましたが。(タイトルはインパクトないとダメだってマッマが...)
環境
- Windows 10 Pro
- Unity2018.3.8f1
Unityの設定
- .NET 4.x Equivalent (Scripiting Runtime Version)
- Mono (Scripiting Backend)
- .NET Standard 2.0 (Api Compatibility Level)
My PC のスペック
- CPU : i7-7700HQ
- GPU : GTX1050 (今回はあまり関係ない)
- メモリ : 16GB
つくったものの概要(宣伝タイム)
V界隈に仲間入りするのには高い、高い壁があった。モデルを用意するのもそうだが、何より動かすのが難しい。お金があれば他の人に任せたり、高い機器やソフトのごり押し(over 500,000 yen)できるけど、そんなにお金使えないよね？そして、こんな記事見ないと思うし。
VR機器は高いし、手で動かしてというのはやるのは簡単だけど完成度を高めるのは難しい。(スマホで出てるやつはカスタマイズできないから除外だよ♡)
自分で作るにしてもWebカメラから動きを導くのは難しい。(Unityのfacelandmark?そこそこお金かかるよね？)ということで 私の作った「kumaS.FaceTracking ・ kumaS.PoseNet」の出番だ！
導入簡単・様々なスペックのマシンに対応・カスタマイズもしやすい・VRMとLive2D両方対応、FaceTracking だけではなく全身トラッキングもできる。そんなものがあるんです。
できること
- Live2D・適切なボーンとBlendShapeをもった3Dモデルへのフェイストラッキングの反映
- まばたき・目玉の位置も取得、反映
- マシンの性能ごとに合わせたパフォーマンスの設定
- 様々なカスタマイズに対応（ただのスクリプトなので）
- 全身トラッキング（3Dモデル）
デモ
いろいろここに書くより動画見せたほうが早いので貼っときます。（変な模様がついているのはgif化した時の影響だよ）
類似製品との比較
Vを動かすものにいろいろあると思いますがそれぞれに対して(kumaS.FaceTracking・kumaS.PoseNetと比べた時の)メリット・デメリットをまとめました。
モーションキャプチャ用の機器
メリット
正確に、高FPSで、たくさんの箇所をキャプチャできる。性能は最強。
デメリット
高い。とにかく高い。法人か石油王じゃなきゃやってられない。
VR機器
メリット
手、頭をキャプチャできる。VRChat使えば割と楽に撮れる。
デメリット
VRChatを使わないとそこそこ難しい。そこそこお値段する。結局この世界に回帰するけど。
専用カメラ(kinectとか)
メリット
全身撮れる。
デメリット
難しい。細かいところは撮れない。安価とはいえお金かかる。
OpenCvSharpとかFacelandmarkとか
メリット
これらにできることは私のもので全てできるのでなし。
デメリット
難しい。お金かかる。
PoseNet
メリット
これらにできることは私のもので全てできるのでなし。
デメリット
難しい。そもそもUnityに使える実装がない。
結論。個人でやる分には私の「kumaS.FaceTracking・kumaS.PoseNet」の勝利！
vs FaceRig
FaceRigについて書いてなかったのはここでしっかり比較するためです。
| 項目 | kumaS.FaceTracking | FaceRig |
|---|---|---|
| 値段 | 基本無料 | 有料 |
| 信頼性 | これから（安定はしている） | 世界中で使われている |
| FPS | ぬるぬる | ぬるぬる |
| 精度 | 良好 | 良好 |
| カスタ マイズ |
可能。パラメータはもちろん、 スクリプトも。 |
パラメータのみ可 |
| 対応 モデル |
Live2D・ボーンとBlendShape を設定した3Dモデル。 独自実装も可能。 |
独自ファイル 追加購入でLive2D可 |
| 商用 | そのまま可（責任はとらない） | プロ版にする必要あり |
なお、FPSと精度はどちらも似たようなフェイストラッキング方法なので似たり寄ったり。
結果
私の「kumaS.FaceTracking」の勝利！
信頼性がほしい方はどうぞFaceRigをお使いください。
配布場所
それでは！当の「kumaS.FaceTracking・kumaS.PoseNet」ですが、Boothで販売しております。
無料のやつと、有料のやつがあります。気を付けてください。
無料のほうは、プログラム（.unitypackage）と最低限の説明のみ。
有料のほうは、うまく動かないときや、よりよい設定をするときのための How to 本（いや？HTMLファイル？）が入っています。
初心者の方や、手っ取り早く使いたい方は有料のものもご購入するのをおすすめします。できるだけわかりやすく使えるようにしましたが、多機能なので慣れるまで扱いづらいかもしれません。
さいごに
ここまで読んでくださりありがとうございました。この「kumaS.FaceTracking」で、みなさんのVライフがよりよくなれば幸いです。なお、Boothでチップを積んでくださると喜びます。