VSingerを目指すおじさん〜iPhoneとPCだけでフルトラッキング編〜

これを書こう思ったきっかけ

VSinger(歌うVTuber)のMVをいつか自分1人で作ってみたい！
そして、VSingerになりたいと思い、
その周辺技術の調査とメモのためのモチベーションとして、本記事を書いてみました！

今回の記事の内容

1. スマホだけで自分の動きをフルトラッキング
2. PCにモーションデータを持っていき編集
3. Unity上のVRMに動きを反映

ここまでの流れを作成していきます。

手順

実行環境
- PC(自分の場合はMacBook Pro)
- スマホ(自分の場合はiPhoneSE2)

• Unity(自分の場合はUnity 2018.4.36f1)
• Blender(自分の場合はVersion 2.93.1)
• TDPT(自分の場合はバージョン1.0.2)

1. モーションの撮影

まず、スマホにTDPTというアプリをインストールします。
このアプリは、単眼カメラだけでかなり高精度で姿勢推定を行ってくれます。
凄すぎる...
無課金でも使えるのですが、今回は課金をして、PCにデータを送りたいと思います。

やり方は以下の通り

1. TDPTを開きます。
2. 下の部分の星マークを押します
3. ここからの作業は課金が必要です。
4. Premium menu＞Exporting motion data＞BVH を押すとモーションの録画が開始します。
5. 全身が映るような場所に移動しモーションを撮りましょう
6. 撮り終わったらStopを押します。
7. モーション(bvhファイル)は ファイル(アプリ)＞このiPhone内＞TDPT＞motion の中に生成されています。
8. このbvhファイルをなんらかの方法(おすすめはAirDrop)でPCに送ります。

2. Unityの準備

1. Unityで3Dのプロジェクトを作成します。
   
2. このあたりを参照してUniVRMをインストールします(今回使ったバージョンは0.66.0)
   
3. VRoidHubなどから好きなVRMファイルをダウンロードしてUnityのAssetsに追加します。
   
4. Prefab Asset(キャラクターの書いてあるやつ)をシーンに追加します。
5. カメラとかを良い感じにします。

3. モーションの準備

1. Blenderを起動する
   
2. シーンコレクションの中のいらないものを削除
3. 先ほど送ったbvhファイルをインポート
4. blendファイルに保存(普通に保存)
   

4. VRMにモーションに反映する

1. blendファイルをUnityのAssetsに追加する。
2. 上記を開きRig＞Animation TypeをHumanoidに変更、Optimize Game Objectsにチェックを入れ、Apply
3. Create＞Animator Controllerで作成
4. 名前を変更して開き、 Create State＞Emptyで作成
5. 名前を変更しMotionをblendファイルの中のものに指定する。
6. VRMモデルのAnimator＞Controllerを先ほど作成したモーションに変更
7. 完成

完成動画

参考にしたサイト

UnityでPerfumeを踊らせる

感想

スマホとPCだけでここまでできると思いませんでした。
かがくのちからってすげー！