UnityとiPhoneでリアルタイムフェイシャルモーションキャプチャー

PC上のUnityとiPhoneでリアルタイムフェイシャルモーションキャプチャーするアプリ「iFacialMocap」と、ソフトウェア＆スクリプトを公開しました。
https://ifacialmocap.jimdofree.com/

現状の3DCG系のVTuberの多くは、おそらく人間の顔の動きをキャプチャせずに「リップシンク」と呼ばれる「声の音」に反応して表情が動いているものと思われます。

現状のVTuberの動きは、「あ」という声を出したら「a」のブレンドシェイプを動かして、「い」という声を出したら「i」のブレンドシェイプを動かして....といった感じで、現実の人間の動きを取り込んでいるわけではなく、音に反応しているだけです。OVRLipSyncというのを使っている方が多いのではないかと思います。また、VTuberの目・眼球の動きはEyes Animatorというアセットを使っている方も多いのではないかと思います。
他に、バーチャルモーションキャプチャというソフトに搭載されているリップシンク機能などを使っている場合もあるかもしれません。

アニメ調のデザインのVTuberならそれでも良いのですが、ちょっと前にTwitterで伸びていた、以下のようなリアル寄りの3DCGを動かそうと思うと、リップシンクだけでは実現できません。

Digital Human based on Unity HDRP.
AR remote, Realtime Raytracing SSAO.
it can follow user's facial moving by iphone.

Individual works by Hyeong-il Kim / Gyutaek Lee#unity #hdrp pic.twitter.com/n1TKZt2m8w

— illu (@illustor) December 30, 2019

しかし、iFacialMocapを使用すると、人間の動きを取り込めるので、上記のツイートのようなモーションキャプチャーも可能です。(モデリングとシェーダーの技術さえあればの話ですが)
上記のツイートの動画はiPhoneXのモーションキャプチャの機能を使って作られています

ダウンロードは以下から
https://ifacialmocap.jimdofree.com/download/

ホームページで使用方法をテキストで紹介しています。
https://www.ifacialmocap.com/tutorial/unity/japanese

YouTube動画でも使用方法を確認できます。
https://youtu.be/7zUSQ0tVZco