VTuberにも使えるオリジナルの3DモデルをHitogataで作成し、全身の体の動き反映(フルトラッキング)対応VRMモデルに変換する方法のご紹介です。
VRMとは、バーチャルモーションキャプチャーや、バーチャルキャストなど、様々なコンテンツで使用することが出来る3Dモデルの形式です。
YouTubeに同様の内容の動画をアップロードしてますので、動画で見たい方はこちらをどうぞ。
#使用ソフト
Hitogata
3Dモデル作成、WEBカメラでの顔認識によるモデル操作(フェイストラッキング)が出来る無料のツールです。
様々なパーツを組み合わせて3Dモデルを作成します。
作成した3Dモデルは商用利用が可能です。
Blender
Hitogataで作成したモデルを読み込み、後述のプラグインを使用するのに使用します。
また、FBX形式への変換を行います。
Cats Blender Plugin
ボーン構造(モデルの骨)の最適化を行うBlenderのアドオン(追加機能)です。
Unity
後述のプラグインを使用し、VRM形式への変換を行います。
UniVRM
VRM形式へ変換するUnityプラグインです。
#3Dモデル作成
Hitogataを使用ソフトのリンクからダウンロードし、起動してください。
起動後、ツールからキャラメイキングで3Dモデルを作成します。
作成したら再度編集出来るよう、キャラクタ保存で3Dモデルを保存しておきましょう。
続いてモデルのエクスポートで3Dモデルを出力します。
PMX形式で書き出します。
FBX形式での書き出しも出来ますが、Hitogataから書き出す場合、ボーン構造が上半身と下半身で分かれているため、フルトラッキングには不向きです。
※具体的にはHipsが上半身の子になっていないために、腰にWaistが割り当てられて姿勢が破綻します。
#ボーン構造の正規化、FBX変換
Blenderをダウンロード、インストールし、Cats Blender Pluginをダウンロードしてください。
その後、Blenderを起動し、以下ユーザ設定からプラグインをインストールします。
ファイルからアドオンをインストールをクリックし、ダウンロードしたCats Blender Pluginをインストールします。
インストール後はCats Blender Pluginにチェックが入っていることを確認してください。
ユーザー設定の保存をクリックし、ウインドウを閉じます。
その後、予め中央に配置されている立方体を削除(クリック、デリートキー)し、Cats Blender PluginのタブからImport Modelをクリック、モデル作成で出力した3Dモデル(PMX形式)を読み込みます。
Fix Modelをクリックします。
ファイルからエクスポート、FBXを選びクリックします。
VRMファイルに変換するにあたり、Unityで扱いやすいFBXに変換します。
左下にFBX書き出しの設定項目が表示されるので、シフトキーを押しながらエンプティ、アーマチュア、メッシュ、その他のタブを選択し、任意の名前を付けて保存します。保存先はPMXファイルと同じ場所を指定してください。
#VRM化
ここからはVRMコンソーシアムの記事を参考にモデル変換を行ってください。
公式の記事がわかりやすいと思います。
揺れもの(髪の揺れなど)や、目線の移動(アイトラッキング)も設定方法が記載されています。
なお、Hitogataで作成した3Dモデルの場合、アイトラッキングはBlendShapeではなくBoneで行います。
#その後
VRM化後はぱっふぇるちゃんの以下tweetのように、対応した様々なツールで使用することが出来ます。
ビートセイバー歴2日の素人が、ぱふぇらむスタジオで一日練習した成果。
— ぱっふぇる@ぱふぇらむ公式Vゲーマー (@Pachel_V) March 23, 2020
⬇チャンネルはこちら⬇https://t.co/wyn0WQGLGr#BeatSaber #バーチャルモーションキャプチャー #VMCAvatar pic.twitter.com/iT9oQWkPTo
3Dモデルを表示してBeatSaberを遊びたい場合は、とんすさんの以下tweetが参考になります。
無料のバーチャルモーションキャプチャーを使用します。
BeatSaberで簡単にアバター表示するための導入法(画像付き)
— 【Vtuber】とんす✌✌ (@Tons_gaming) April 22, 2020
必要なもの
・OBS
・バーチャルモーションキャプチャー(https://t.co/KDGwBDBxjS)
・BeatSaber本体
・ModAssistant(https://t.co/pVd1LDIlIv)
導入までの流れ(初回)
各種ファイルダウンロードしておいてください
#オススメツール
参考までですが、3DバーチャルYouTuberとして活動する場合は以下ツールがオススメです。
3Dフルトラッキング
フェイストラッキング
VRM対応ゲーム