More than 5 years have passed since last update.

UnityとMMDとKinect v2で10分でVTuberっぽくなってみる

Last updated at 2019-08-17Posted at 2019-08-17

前書き

最近 VTuber の人気、すごいですよね。

VTuber の 3D モデルを動かす手段はいろいろあるかと思いますが、今回はトラッカーなどを使わずにお手軽に全身をトラッキングできる Microsoft の Kinect v2 を使って VTuber っぽいことをやってみようと思います。

Kinect v2 は 2017 年に販売が終了してしまっているのですが、もうすぐよりパワフルになった Azure Kinect が購入できるようになりそうですので、今のうちに復習しておこうという狙いもあったりします。

※現在 Azure Kinect は米国と中国のみで販売中です。

10分程でこんな感じに 3D モデルを自分の動きに追従させて動かすことができました。

※モデルは MMD の Tda式初音ミクV4X を使用させていただきました。可愛い。天使。

Unity で 3D プロジェクトを新規作成します。

Asset Store から Kinect v2 Examples with MS-SDK and Nuitrack SDK をインポートします。

こちらのサイトから MMD4Mecanim の最新版をダウンロードします。
ダウンロードしたら zip を展開して MMD4Mecanim.unitypackage をインポートします。

API Update Required の警告が表示されるので I Made a Backup. Go Ahead! を選択します。

MMD モデルをインポートします。
今回はこちらのサイトからTda式初音ミクV4Xを使わせていただきます。
ダウンロードして zip を展開したらフォルダごと Unity の Asset 配下に保存します。

モデルのフォルダの中に .MMD4Mecanim ファイルが生成されるので選択します。
選択すると Inspector に利用規約が表示されるのでよく読んで 同意する を押します。

Inspector の表示が変わったら Process を押して暫く待ちます。

モデルの Prefab が生成されるので選択します。

Inspector で Rig を開き、AnimationType を Humanoid に設定し、Apply を押します。

モデルを Scene に配置し、Transform を適当に設定します。

モデルに AvatarController を AddComponentし、FingerOrientations にチェックを入れます。

MainCamera に KinectManager を AddComponent します。
設定はとりあえずこのままで大丈夫です。

これで Scene を再生すると、画面上のモデルが自分の動きに合わせて動きます。

Unity + Kinect お手軽に使えてすごいですね！

今回はモデルの手足などを動かしただけでしたが、 Kinect ではモデルの表情を制御することも可能ですので、今度はそのあたりもやってみたいと思います。

Azure Kinect の日本での発売も楽しみです！