やったこと

BlendArMocapのベータ版が1/31に無料リリースされたので、それを使ってBlender上のモデルに対してモーションキャプチャを使ってポーズやアニメーションを作成してみた

環境

Windows11
Blender2.93
使用アドオン：BlendArMocap, MBLab, Rigify
※BlendArMocapについて→GitHub

手順

BlendArMocapアドオンを追加する

BlendArMocapダウンロードページからzipファイルをダウンロードし、Blenderのアドオンに追加

Install dependenciesを実行
→No module named 'mediapipe'と怒られる

BlendArMocapを使うために必要なmediapipe(Googleが提供するオープンソースのメディアデータ向け機械学習用フレームワーク)がBlenderの標準Pythonモジュールに入っていないので別途インストールが必要
→pipなどでインストール(パッケージインストール先がちゃんとPath/To/Blender 2.93/2.93/python/lib/site-packagesになるように注意)

Blenderに戻りInstall dependenciesを実行
→ContextMenuにBlendArMocapが表示される

リグコントローラ付きモデルを用意する

MBLabアドオンを追加し、ContextMenu>MBLabから特に何も指定せずCreate characterでモデルを生成する(自作モデルがあればそれを使う)

Rigifyアドオンを追加し、Add>Armature>Human(Meta-Rig)でリグを追加
→ リグの編集モードでモデルと合うように調節する

metarigのObjectDataProperties>RigifyButtonsからGenerateRigを実行してリグコントローラを生成

モデル→生成したrigの順で選択しSetParentで自動ウェイトでスキニングする
BoneHeatWeighting: failed to find solution for one or more bonesというエラーログが出たらモデルのメッシュの重複頂点を削除する(エラーが出なくなるまでMergeDistanceを大きくする)

モーションをキャプチャする

以上でモーションキャプチャする準備が整ったのでオブジェクトモードに切り替えてBlendArMocapを開く

WebcamDeviceSlot: モーションキャプチャに使用するWebカメラを指定
KeyStep: キーフレームの頻度を指定
Target: BlendArMocapではHands(手)、Face(顔)、Pose(ポーズ)を別々でキャプチャできるので、キャプチャしたいターゲットを選ぶ

StartDetectionボタンを押すとBlender上でWebカメラの映像が表示されモーションキャプチャが開始される(Q/ESCキーか右クリックで終了できる)

キャプチャしたモーションをrigに流す

キャプチャしたモーションはDriverとしてOutlinerに生成される

BlendArMocapのAnimationTransferでrigに流したいDriverコレクションを指定してStartTransferで実行する

Timelineで再生するとキャプチャしたモーションでモデルが動いていることが確認できる

参考ページ

https://forest.watch.impress.co.jp/docs/serial/blenderwthing/1390871.html
https://github.com/cgtinker/BlendArMocap
https://www.youtube.com/watch?v=pji6IHNCnAk