##はじめに
この記事はVTuber Tech #1 Advent Calendar 2019 11日目の記事です。
Unityエンジニアのゆずです。
今回は趣味でVICONを使い…
リアルタイムにUnity上でVtuberになれるようにしていたのでそれを記事にします…
ぜひ皆さんも参考にやってみよう！
※モーションキャプチャー提供
aex inc. SHIROMIStudio
##Vicon(バイコン)とは？
簡単に言うとつよつよな光学式モーションキャプチャー
光学式という点においてはViveと一緒
価格も一…
※正直Vtubderが使うしろものではない…
とれないもの
表情＆指の動き
別途機材等を用いる
##環境構築
とりあえずVIVE Pro Eyeフルセットを数百台ほど買える金額を用意し下記をそろえる
もちろんそこそこに広い場所も必要
- Viconフルセット（Blade/Shogun）（有料）
- Motionbuilder（有料）
- Unity（無料～）
- MeshSync（無料）
- PC3台(Blade/Shogun用、Motionbuilder用、Untiy用 有線ローカルネットワークに接続,ポート開放必須)
まぁスーツ1着も1 VIVE Pro Eyeフルセットなんですがね…
##VICONが使われるまでの流れ
Blade/Shogun使う際の流れ
(BladeとShogunには宗教戦争、もはや自作みたいなこともあったり…
Bladeは、マニュアル、Shogunはオートみたいな感じですかね。)
-
VICONカメラ起動！
-
放置…。（すぐ使うと精度が悪く放置しないといけない…）
-
カメラキャリブレーション‼
マスク（最初からなにかしらの理由で反射している部分を誤認識しないように）を切り
次に棒をひたすら振り回す‼
最後に水平面を認識したら終わり‼ -
アクターさんにマーカーをつけキャラクターキャリブレーション
マーカーはきちんとつけましょう(ずれないように…)
次にするVicon体操はよくテストにでるので覚えておきましょう！
https://www.youtube.com/watch?v=lGnSYjrh1zc
この体操をもとにマーカーの点群データを
人間の体のボーンをにソフト上で作成します！
で、ここでやっとVICONが使えるようになります…（な、長い）
さらっと書いていますが
正直使う気失せるくらいには面倒でバグったりします…
#Blade/ShogunからMotionbuilderへモーションをデータ転送する
直接Unityへデータ転送できますがMotionbuilderのリターゲット機能は強いので
Motionbuilderでリターゲットを行います
公式から無料（値段あっても誤差）でプラグインが配布されているのでそれを用いるだけです。
キャラクタライズを行い自分のキャラクタライズ済みキャラクターへリターゲットできるように設定します。
#MeshSyncを用いMotionBuilderとUnityを連動させます。
プラグインが売ってるみたいですが、今回はMeshSync経由です。(それくらい作れそれはそう)
MeshSyncとは各DCCツールの3Dデータをuntiyにリアルタイムに同期するツールです
https://github.com/unity3d-jp/MeshSync
キャラクターを用意します（Unity＆fbx）
-
Motionbuilder側
キャラクターのfbxを用意しMotionbuilderで読み込ませ
そのボーンデータのみunityに転送します -
Unity側
ボーンデータが送られてくるので
そのHumanoidボーンの位置/回転情報をキャラクターに適用することで
DynamicBone等の物理演算を併用しつつキャラクターを動かすことができます。
Demo
blog用 pic.twitter.com/3z6JG1k56s
— ゆず@バーチャルクリエイター (@Yuzu_Unity) December 7, 2019
これでやっとリアルタイムにViconを用いVtuberになれました…
##まとめ
理論上は自分でアクタースーツを着ることにより
無線マウス等を駆使すれば一人でViconを扱いVtuberになれることが分かった。
今後1人でViconを用いた配信をする個人Vtuberが出てくることを期待しようと思う。
Viconを使った動画はまた今度…
