はじめに

星街すいせいというVTuberの新曲「ビビデバ」をご存知でしょうか。
実写とロトスコープが混じり合うMVが非常に面白いですね。

なんでも公式からモーションデータが配布されているらしく、同僚が踊ってたんですね。

で、なんか触発されて自分もちょっと踊ってみました。

普段あまり人体モデルやモーションデータを扱うことがないので、何をどうすればいいんだったかなと少し手こずりました。
やってること自体は大したことではないんですが、こういうのは慣れてない・知らないとなかなか難しそうに感じると思います。
せっかくモーションが配布されてるんだし、STYLYへアップロードしてシーンを作るまでの一連の作業を解説しようかなと思います。

モデルデータを作る

冒頭の私のモデルは数年前、会社に全身を撮れるスキャナーがあった際にスキャンしたものです。
ただそういうスキャナーで全身モデルを撮れる機会は、なかなかないと思います。
そこで今回は写真からモデルを生成していきます。

まずは写真を撮る

こんな感じで全身が映るよう写真を撮ってください。

次にそこから全身だけを切り抜きます。
iOS16で写真アプリに実装された切り抜き機能が便利ですね。
Androidユーザーは手作業でうまいことやってください。

画像から3Dモデルを作る

CSMというサービスを使います。
「Image to 3D」と呼ばれる画像から3Dモデルを生成してくれます。AI様が。
基本的にあまりカスタムするような部分もなく、ポチポチやってけばいいと思います。
最後のMesh化の処理は結構時間がかかります。（フリープランだからかも）
２〜３時間はかかったかな。
そして出来上がったのがこれだ！

なんていうか、こう、サスペンス・ホラー系の映画に出てましたよね？って感じ。
なんでこうなるんだよっていう気持ちはありますが、再処理するのも時間がかかるので一旦これでいきましょう。
大丈夫です、あとでリカバーします。

これをひとまずobjでDownloadします。
※fbxでもいいはずなんですが、後でUnityに入れた時にテクスチャが貼られてない状態になるんですよね。その解決のために一旦objで。

リグを入れる

作ったモデルデータはそのままでは、ただの置き物みたいなもので人型のモーションを適用できません。
そこでMIXAMOというサービスを使います。
3Dキャラクターアニメーションを作れるツールなんですが、一番の利点は人体モデルのリグを入れることができる点にあります。
先ほどDownloadしたモデルデータをアップロードして、こんな感じでリグを設定していきます。

そんでもって適当にゾンビのモーションとかを当ててみます。

う〜ん、なんか足元がくっついちゃってますね。
でもまぁ、こんなクリーチャーには足枷を付けておくべきだろという観点から考えると、これはこれで良しとします。
ではこのモデルをダウンロードします。
何が違うのかはよく分かりませんがFBX for Unityを選択しておきます。

Unity編

ではダウンロードしたモデルをUnityに取り込みましょう。
その前に、2024/3/29現在においてはmobile(iOS/Android)向けのSTYLYはUnity 2019.4.40f1で作られています。
そのため使用するバージョンはなるべくこれに合わせておきましょう。

テクスチャの適用

おや、何だか期待していたのとは違って石膏像のようになっていますね。
ここで先程CSMからobjとしてダウンロードしたzipを解凍します。

その中にテクスチャがあるので、これをfbxをインポートしたのと同じディレクトリに持ってきましょう。

無事にテクスチャが貼られましたね。
なんでこうなるのかは正直よく分からんので、詳しい人が補足解説してくれると嬉しいです。
こういうのはCSMに限らず、他のサービスを使っていてもよくあります。

Shader変更

ついでにmaterialをExtractして、shaderをUnlit/Textureにしておきます。

まぁ、この工程はやってもやらなくてもどちらでもいいです。好み。
LiDARとかフォトグラメトリでスキャンしたモデルとかって、どうしても撮影した際のライティングがテクスチャに反映されてしまっているので、いっそライティングの効果を受けないUnlit系のshaderにしておくと無難な見え方になるんですよね。
まぁ高精度モデルで良い感じにライティングして馴染ませる、みたいなところまでやるつもりがなければとりあえずUnlit/Textureで良いんじゃないかと。

あとついでにfbxアセットを選択してInspectorからRigのAnimationTypeをHumanoidにしておきましょう。