この記事はZennの記事と同じものです
この記事のゴール
Unreal EngineにからリリースされたMetaHumansのデジタルヒューマンに対して、iPhoneのフェイシャルキャプチャを用いてリアルタイムで顔を動かします。
こんな感じで！
手順
- MetaHumansをimport
- Facial Capture用のレベルを作成
- iPhoneにLive Link Face Appをインストール&起動
- Live Link用の設定
- 再生して確認
開発環境
- Unreal Engine4.26 (以下UE4)
- 現在4.26のみ動作します
- Windows10
- iPhone11
- FaceID搭載の機種であれば可能
- Wifi環境
MetaHumansをimport
こちらの記事でimportお願いします！
https://zenn.dev/iwaken71/articles/metahumans-unrealengine-sample
Facial Capture用のレベルを作成
- 空のレベルを新規作成し、"Facial"などと名前を付ける
- Content/SampleMetaHumans/metahuman_004/BP_metahuman_004をレベルに追加
- BP_metahuman_004のTransformのLocationを(0,0,0),Rotation(0,0,90)に設定する
- Persistent LevelにMH_Gen4Lightingを追加
空のレベルを新規作成し、"Facial"などと名前を付ける
Content/SampleMetaHumans/metahuman_004/BP_metahuman_004をレベルに追加
BP_metahuman_004のTransformのLocationを(0,0,0),Rotation(0,0,90)に設定する
Persistent LevelにMH_Gen4Lightingを追加
Levelsウィンドウが存在しない場合は [Window]>[Levels]を選択。
iPhoneにLive Link Face Appをインストール&起動
- iPhoneにインストール&起動
- PCとiPhoneで同じWifiに入る
- [設定]>[Live Link]>[ターゲット追加]>PCのIPアドレスを入力
- お好み設定
- 頭の回転をストリームにチェックを入れる
iPhoneにインストール
https://apps.apple.com/us/app/live-link-face/id1495370836
[設定]>[Live Link]>[ターゲット追加]>PCのIPアドレスを入力
頭の回転をストリームにチェックを入れる (お好み)
チェックを入れると頭の回転も反映させるようになる。
Live Link用の設定
UE4の[Window]>[Live Link]を選択する。
iPhoneのLive Link Face Appのカメラモードで自分の顔を認識させている状態で、UE4のLive Linkがつながっているか確認する。
BP_metahuman_004を選択し、[LLink Face Subj]にてiPhoneを選択する。
お好みで[LLink Face Head]にチェックを入れる。チェックを入れると頭の回転も反映するようになる。
再生して確認
UE4のプレイボタンで再生！