はじめに
本記事では UnrealEngineでアバターをモーションキャプチャで動かす方法 について紹介します!
カメラがあるだけでも手軽に始められますし、mocopi を使えば フルトラッキング でアバターを自由に動かせます✨
前回の記事に、VRM4Uの作者である はるべえ様 よりアドバイスをいただき、新しい方法を教えていただきました! この場を借りてお礼申し上げます!
はるべえ様の説明はこちら (本記事で詳細説明します)
前回の記事はこちら
今回の方法について
前回の方法に比べて、この方法のポイントは次のとおりです:
- UE5.1以上にも対応!(最新アセットに対応できますね!)
- 手順が少なく、シンプル!(前回必要だったUnityも不要!)
早くこの方法が知りたかった...というくらい簡単にできます( ゚Д゚)
初めてUnrealEngineに触れる方でも安心して進められる内容を試みています✨
前回の記事を読まなくても設定できるようにしているので、一部内容が重複している点はご了承ください💦
🎉 UnrealEngine×アバターの楽しみ方は無限大! 🎉
- VTuberデビュー に挑戦
- 自分だけの映像制作
- お気に入りポーズでアバターを愛でる
UnrealEngineで遊んだ投稿を参考にどうぞ! 🌟
何か質問があれば
気軽にX(旧Twitter) やコメントで教えてください!
フォローもいただけると泣いて喜びます🥹
1. UnrealEngineをダウンロード
まずはUnrealEngineを以下のリンクからダウンロードしましょう👇
Unreal Engine ダウンロードページ
2. UnrealEngine 5.4.4をインストール
ダウンロードしたランチャーを起動し、UnrealEngine 5.4.4 をインストールします。
本来は UE5.5.1 でも動作するはずですが、私が試した際はクラッシュしてしまいました💦
そのため、この記事ではうまくいった実績のある UE5.4.4 を使用します。
もし UE5.5.1 で成功された方はぜひコメントで教えてください!
3. プロジェクトを作成
新規プロジェクトフォルダを作成するのが目的です。
他のテンプレートを選んでも問題ありません!
4. 必要なツールをダウンロード
ここで今回使用する 神ツール様 をダウンロードします!
開発いただいた素晴らしい先人の方々に感謝しかありません🙏
VRM4U
-
VRM4U_5_4_20241227.zip をダウンロードしてください
VRM4Uとは?
VRM形式のアバターをUnrealEngineで扱える超重要プラグインです!
開発者: はるべえ haru様
5. ダウンロードしたツールをUnrealEngineのプロジェクトに追加
ダウンロードしたツールをUnrealEngineプロジェクトに追加します。
-
プロジェクトのフォルダを開く
UnrealEngineランチャーで先ほど新規に作成したプロジェクトを右クリックし、「フォルダで開く」を選択します。
-
解凍したツールを追加
解凍したVRM4Uの「Plugins」フォルダ内の内容をUnrealEngineの「Plugins」フォルダにコピーします。
6. プラグインを有効化
-
作成したUnrealEngineプロジェクトをダブルクリックして立ち上げます。
-
プロジェクトを保存し、再起動のため一度プロジェクトごと閉じてください。
(最初からVRM4Uにチェックが付いていたら閉じなくても大丈夫です。)
7. アバターの準備
次に、動かしたいアバターファイル(VRM形式)を用意します。
まだアバターを持っていない場合は、VRoid Studio を使えば簡単に作成可能です!
私自身もアバターの作成を受注しています!
気になる方はこちらからどうぞ!✨
👉 アバター作成依頼
8. UnrealEngineにアバターをインポート
UnrealEngineを再び立ち上げ、VRMファイルをインポートします。
マテリアル設定
- インポート時に表示されるオプションで、「Material Type」を選択します。
9. UnrealEngineでアバターを動かす設定
次に、インポートしたアバターを動かす設定を行います。
アバターファイルの配置
-
アバターファイルのインポートが成功すると、たくさんのファイルが生成されます。その中から「SKEL_」で始まるファイルを探してください。
Animブループリントの作成
-
「○○_AnimBluePrint」という名前のファイルが作成されます。これをダブルクリックしてください。
💡 ブループリントとは?
UnrealEngineでプログラミングを簡単に行える便利なシステムです!
ノードを線でつなぐだけで設定が完了します。
必要なノードを追加
- Animブループリントを開くと、格子状のエディタ画面が表示されます。
- エディタ内で右クリックし、以下のノードを検索して追加してください:
- InputPose
- Local To Component
- VrmVMC
- Component To Local
ノードを接続
vrmVMCノードの設定
-
デフォルト設定 で問題ありませんが、以下の点を調整してください:
- アバターが VRM0 を利用している場合は、「IgnoreLocalRotation」を ON にします。
- Port番号 は「39539」の初期値にしてください。適宜変更可能です。
- ServerAddress は「0.0.0.0」のままにしてください。
保存
最後に、画面左上の「コンパイル」→「保存」ボタンをクリックして設定を保存します。
これで、アバターを動かす準備が完了しました!
10. アバターを動かします!
あと一息です✨
ここでは、手軽にカメラだけで手の動き含め全身キャプチャができる 「Webcam Motion Capture」 とモーションを送信する 「バーチャルモーションキャプチャー」 を利用します!
補足1:
「Webcam Motion Capture」 と 「バーチャルモーションキャプチャー」 は有料版の契約が必要です!
無料で試したい方は「VSeeFace」がオススメです!
顔のトラッキングだけですが、無料で非常に優秀なツールです。
(今回は詳細割愛します)。
補足2:
「Webcam Motion Capture」 単体でも試してみたのですが、私はうまくいかなかったので、「バーチャルモーションキャプチャ―」 と併用して実施しています。
もし 「Webcam Motion Capture」 単体で実施できた方は教えていただけるとすごく嬉しいです…!
Webcam Motion Captureのダウンロード
-
以下のリンクから Webcam Motion Capture をダウンロードしてください👇
Webcam Motion Capture ダウンロードページ
-
有料版(月額199円) を契約してください(執筆時点の価格です)。
バーチャルモーションキャプチャーのダウンロード
- 以下のリンクから バーチャルモーションキャプチャー をダウンロードしてください👇
公式サイト
支援版はこちらから!
UnrealEngineで使用する場合は支援版を契約ください💗
VR配信するときにも使える超神ツールです⚡
開発者: あきら☎︎@VMC様
バーチャルモーションキャプチャーの設定
-
詳細設定で以下のように設定してください:
-
CheckIP ボタンを押して表示されたIPアドレス(2つある下の方)を控えておいてください。後で使用します。
また、下記の2つのチェックを入れておいてください。
Webcam Motion Captureの設定
-
Webcam Motion Captureを立ち上げ、以下のように設定してください:
-
設定後、「送信開始」をクリックします。
UnrealEngineで連動
-
UnrealEngine側のブループリント画面に戻り、画面上部の「再生ボタン ▶」を押します。
UnrealEngineとWebcam Motion Capture、バーチャルモーションキャプチャーが連動し、アバターが動き始めます!
-
ブループリント画面を「×」で閉じます。
アニメーション設定
- UnrealEngineメイン画面の「アウトライナー」部分で、先ほど追加した「SKEL_○○」を見つけて選択してください。
- 下部の詳細ウィンドウで「Animation」セクションを探し、AnimClass に先ほど作成した Animブループリント を設定します。
11. アバターをビューポート内で動かす
(おまけ)アバターをよりリアルに動かしたい場合
「バーチャルモーションキャプチャー」を活用すると、Webcam Motion Captureのモーション情報に加え、mocopiなどの他の機器から取得したモーションデータもブレンドでき、さらにリッチな動きを再現可能です。
iPhone等を活用したパーフェクトシンクでの微細な表情操作も組み合わせられますよ!
mocopi+Webcam Motion Captureでのフルトラッキング
パーフェクトシンクはこんなイメージです(VRMモデルの改変要)
VMCプロトコルの設定
-
Webcam Motion Captureで指の動きを取得し、mocopiで全身の動きを取得する場合、以下のように VMCプロトコル のポート番号を複数設定します。
-
最後に「OSCでモーション送信を有効にする」にチェックを入れて設定を適用してください。
これで、よりリアルでリッチな動きをUnrealEngineで再現可能になります!
おわりに
いかがでしたでしょうか?
はるべえ様にもアドバイスをいただき、前回よりもかなりシンプルな方法を習熟することができました!
改めて感謝申し上げます!
早く知りたかったー!!(二回目)
ぜひ、自分のアバターをハイクオリティな空間で自由に動かしてみてください!
思いっきり愛でてあげましょう✨
もし何かわからないことがあれば、X(旧Twitter) で気軽にリプしてください!
拡散やフォローしていただけると喜んで懐きます🐾
本記事が皆さんのお役に立てれば幸いです!😊
ここまでお読みいただきありがとうございました!