Help us understand the problem. What is going on with this article?

VICONを用いてUnityでVtuberになる!

はじめに

この記事はVTuber Tech #1 Advent Calendar 2019 11日目の記事です。

Unityエンジニアのゆずです。

今回は趣味でVICONを使い…
リアルタイムにUnity上でVtuberになれるようにしていたのでそれを記事にします…
ぜひ皆さんも参考にやってみよう!

※モーションキャプチャー提供
aex inc. SHIROMIStudio

Vicon(バイコン)とは?

vicon.jpg
簡単に言うとつよつよな光学式モーションキャプチャー

光学式という点においてはViveと一緒
価格も一…

※正直Vtubderが使うしろものではない…

とれないもの
表情&指の動き
別途機材等を用いる

環境構築

とりあえずVIVE Pro Eyeフルセットを数百台ほど買える金額を用意し下記をそろえる
もちろんそこそこに広い場所も必要

  • Viconフルセット(Blade/Shogun)(有料)
  • Motionbuilder(有料)
  • Unity(無料~)
  • MeshSync(無料)
  • PC3台(Blade/Shogun用、Motionbuilder用、Untiy用 有線ローカルネットワークに接続,ポート開放必須)

まぁスーツ1着も1 VIVE Pro Eyeフルセットなんですがね…

VICONが使われるまでの流れ

Blade/Shogun使う際の流れ
(BladeとShogunには宗教戦争、もはや自作みたいなこともあったり…
Bladeは、マニュアル、Shogunはオートみたいな感じですかね。)

  1. VICONカメラ起動!

  2. 放置…。(すぐ使うと精度が悪く放置しないといけない…)

  3. カメラキャリブレーション‼
    マスク(最初からなにかしらの理由で反射している部分を誤認識しないように)を切り
    次に棒をひたすら振り回す‼
    CALIB.png
    最後に水平面を認識したら終わり‼

  4. アクターさんにマーカーをつけキャラクターキャリブレーション
    マーカーはきちんとつけましょう(ずれないように…)
    markar.JPG
    次にするVicon体操はよくテストにでるので覚えておきましょう!
    https://www.youtube.com/watch?v=lGnSYjrh1zc
    この体操をもとにマーカーの点群データを
    人間の体のボーンをにソフト上で作成します!

で、ここでやっとVICONが使えるようになります…(な、長い)
shogun.png
さらっと書いていますが
正直使う気失せるくらいには面倒でバグったりします…

Blade/ShogunからMotionbuilderへモーションをデータ転送する

直接Unityへデータ転送できますがMotionbuilderのリターゲット機能は強いので
Motionbuilderでリターゲットを行います
公式から無料(値段あっても誤差)でプラグインが配布されているのでそれを用いるだけです。

キャラクタライズを行い自分のキャラクタライズ済みキャラクターへリターゲットできるように設定します。

MeshSyncを用いMotionBuilderとUnityを連動させます。

プラグインが売ってるみたいですが、今回はMeshSync経由です。(それくらい作れそれはそう)

MeshSyncとは各DCCツールの3Dデータをuntiyにリアルタイムに同期するツールです
https://github.com/unity3d-jp/MeshSync

キャラクターを用意します(Unity&fbx)

  • Motionbuilder側
    キャラクターのfbxを用意しMotionbuilderで読み込ませ
    そのボーンデータのみunityに転送します

  • Unity側
    ボーンデータが送られてくるので
    そのHumanoidボーンの位置/回転情報をキャラクターに適用することで
    DynamicBone等の物理演算を併用しつつキャラクターを動かすことができます。

Demo

これでやっとリアルタイムにViconを用いVtuberになれました…

ViconVtubder (2).png

まとめ

理論上は自分でアクタースーツを着ることにより
無線マウス等を駆使すれば一人でViconを扱いVtuberになれることが分かった。

今後1人でViconを用いた配信をする個人Vtuberが出てくることを期待しようと思う。

Viconを使った動画はまた今度…

unitychan.png

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away