1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

XYN Motion Studio(mocopi)とWarudoで表情・指・全身のトラッキング

Posted at

記事の概要

mocopiを調達したので、XYN Motion Studioでモーションを作成して遊んでみました。

ただXYN Motion Studio(&mocopi)単体だと、表情と指のトラッキングがないので表情と指のトラッキングも行うために、今回の記事ではWarudoを利用した「表情」「指」「全身」のトラッキングを行う設定を紹介します。

環境

OS:Windows 11
CPU:i7-10750H 16G
GPU:NVIDIA GeForce RTX 3060 Laptop 8G

Warudo

Warudoを起動すると、以下の画面が表示される。
「基本設定 > 始める」をクリックする。

image.png

「ようこそ」画面が表示されるので、「キャラクターフォルダを開く」から、「.vrm」or「.warudo」拡張子のモデルファイルを配置する。

image.png

「キャラクターの選択」から対象のファイルを指定し、「OK」をクリックする。

image.png

以下の画面が表示されたら、「いいえ、何を使うか知っています。」を選択し、「OK」をクリックする。

image.png

以下の画面が表示される。

image.png

「MediaPipe(カメラ)」を選択する。

image.png

「フェイストラッキングをカスタマイズします...」をクリックする。

image.png

「カメラを入力」の欄を、USBカメラなどを選択する。(特に深い理由はないですが、カメラの名前は伏せてます。)

image.png

「ポーズトラッキング」は今回はそのまま。

image.png

「Second Pose Tracking」は「MediaPipe」をクリックする。

image.png

以下の状態で「OK」をクリックすr

image.png

以下の警告が出たら「OK」をクリックする。

image.png

「表情のインポート」が表示されたら、「表情をインポートしません。」を選択して、「OK」をクリックする。

image.png

「既存の背景を維持します。」を選択して、「OK」をクリックする。

image.png

設定完了したら「OK」をクリックする。

image.png

この時点で、表情と指のトラッキングができている状態です。

image.png

GPUメモリもそれほど使われていないように見えます。

image.png

XYN Motion Studio

XYN Motion Studioを起動すると、以下の画面が表示されるので、サインインします。

image.png

以下の画面が表示されたら、右上の「キャプチャ」をクリックします。

image.png

以下の画面が表示されたら、「センサーデータレシーバー×1」を選択し、「次へ」をクリックします。

image.png

ここからは、レシーバーやセンサーの設定なので、キャリブレーション完了まで実施してください。

image.png

image.png

image.png

※以降、キャリブレーション完了まで、省略。

キャリブレーションが完了すると、以下の状態になる。

image.png

「ビデオ/モーション」は「モーション」を選択し、「保存/送信」は「送信」が表示されている状態になるようにクリックする。

image.png

右下の「送信」ボタンをクリックする。

image.png

以下のウィンドウが表示されるので、「ネットワーク設定」をクリックする。

image.png

「外部サービスとの接続設定」は以下の状態となるようにし、「OK」をクリックする。

image.png

「送信」ボタンの上にタイマーが表示されていれば、XYN Motion Studio側の設定は完了。

image.png

ここまでくれば、表情・全身・指のトラッキングを全て設定した状態になります。

image.png

GPUメモリもそれほど使われていません。(温度は気になりますが。)

image.png

微修正

ここまで設定すると動かすことはできますが、「表情」と「指」はミラーの状態で、「全身」はミラーではないので、「表情」と「指」のミラー状態を解除します。

以下のように設定します。

image.png

image.png

これで「表情」「指」「全身」が全て、ミラーではない状態になります。

感想

設定は全てPC上で完結するのは高ポイントですが、MediaPipeで使用されているモデルの精度が、期待しているよりも高くないのと、Mocopi自体も、長時間の使用に耐えられる設計になっていない(色々ずれてくる)ため、期待しすぎない方がよい。

とはいえ、遊ぶ分には十分と感じてるので、諸々準備できる方は試してみてください。

image.png

image.png

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?