QuickMagic+Blender+Unityで映像制作！

この記事はK3 Advent Calendar 2024の5日目の記事です。
衝動に駆られて１週間強で映像制作をしたときの記録になります。

制作物

早速ですが制作したものがこちら。我ながら良い出来。

この作品は1週間強で作成しました。モーションが存在しない状態から1週間なのでかなりスピーディに制作できたと思います。AIバンザイ！！ スケジュールはこんなかんじ。

使用する3Dモデル

去年の夏ごろに制作したこの子を使います。う～ん、かわいい
VRChatでの利用を想定していたため、UnityHumanoid形式のボーン構造をしています。
Shaderはliltoonを使用していてテクスチャ総数は9枚（ベースカラー6、マスク3）という仕様です。

学マスがリリースされた後くらいにハイライトマスクを書き直していたりする

テクスチャはハロウィン仕様に描きなおしてます（といっても白いところがオレンジになっただけ）

QucikMagicでアニメーション制作

QuickMagicとは？

QuickMagicは動画を入力として3Dアニメーションを作れるAIサービス？です。
無課金だと入力できる動画の長さが最大30秒で１か月50秒までの動画を入力してアニメーションを作ることができます。課金することで入力できる動画の長さが60秒まで増えて、月9.9ドルのプランなら150秒、月49.9ドルのプランなら1000秒までのアニメーションを制作することが可能になります。
今回私は120秒ほどの動画を作成したかったため、9.9ドルのプランに課金しました。

使用する映像

ハロウィンの季節＋公式振付動画があってちょうどよかったので学園アイドルマスターから『仮装狂騒曲』を選びました。（イベントストーリーすら完走してないし配布キャラも取り損ねたけど……歌はいいので）
この動画を前半60秒、後半20秒に分けてQuickMagicに入れていきます。

アニメーションの作り方

QuickMagicによるアニメーションの作り方は簡単です。動画をアップロードして、ボタンをポチポチしていくだけ。OutputFormatにはGirl FBXを選びました。

しばらくするとMyProjectに完成したモーションが表れるのでダウンロードしましょう。

Blenderでの作業

リターゲット

ダウンロードしたFBXをBlenderに突っ込みます。しかし、前述したようにアニメーションさせたいキャラクターはUnityHumanoidという形式のためQuickMagicで制作したアニメーションは直接使えません。そこでリターゲットという作業をします。
リターゲット作業はBlenderのアドオンであるAutoRigProのリターゲットツールを用いて行いました。

モーション修正＋顔のアニメーション

リターゲットして「はい、おしまい！」とはならず、細かい修正が必要です。
こういった腕が干渉している個所や

手のモーションなど、必要な場所はすべて手作業で修正します。この作業は地獄のようでしたが、終わった後の達成感はそこそこあります。

また、単一視点の動画からアニメーション推定を行う関係上QuickMagicは前後移動に弱いようです。画像の左のように、アニメーションを進めていくとどんどん前に進んでしまうようになってしまいました。

これを修正するため、グラフエディターをつかって下がるべきところでキャラクターを適切に下がらせることで対応しています。初心者の頃ってグラフエディターは触らないことが多い気がしますが、便利なので積極的に使いましょう！

顔のアニメーションもやっていきます。シェイプキーは豊富に用意してあったので、アニメーションに合わせて変えていくだけ。簡単だね（簡単じゃない）

Unityでの作業

アニメーションの修正が終わったらfbxにしてUnityに突っ込みます。
自分は色々めんどくさかったので、VRChatのアバターアップロード用のプロジェクトを複製して使いました。
Unityでの作業は以下の記事をとても参考にしています。
【画像で解説】Unityを使った3DダンスMV制作かんたん入門講座

背景

背景にはユニティちゃんライブステージを使ってます。さすがに１週間じゃ背景までは作れませんでした。残念……

カメラワーク

UnityのCinemachineを使っています。
最終的なTimelineはこんなかんじになりました。途中から3つのカメラを切り替えてカメラワークを作る省エネ仕様にしたのですが、これはあまりお勧めしません。カットごとにカメラを作成する方が修正などがしやすいです。

ポストプロセス

ポストプロセスもかけました。あるなしでホントに変わるので積極的に使いましょう。（かけすぎに注意、これはBloomをかけすぎてぼやけちゃってる）

スクリプト

UnityのTimelineにRecorderClipというのを入れることで映像の録画ができます。ただし、Playボタンを押した瞬間にTimelineが再生されるため、Unityのビルド？時間の数秒だけアニメーションが途切れてしまうので指定した秒数のDelayをかけるスクリプトを書きました。

PlayableDirectorStart.cs

using System.Collections;
using UnityEngine;
using UnityEngine.Playables;

public class PlayableDirectorStart : MonoBehaviour
{
    private PlayableDirector director;

    [SerializeField]
    private float _delayTime;

    bool _isPlaying = false;

    void Start()
    {
        director = GetComponent<PlayableDirector>();
        if (director == null)
        {
            this.enabled = false;
        }
        else
        {
            director.timeUpdateMode = DirectorUpdateMode.GameTime;
            director.playOnAwake = false;
            director.Play();
            director.Stop();
            director.time = 0;
        }
    }

    private void Update()
    {
        if (Time.time > _delayTime && _isPlaying == false)
        {
            director.Play();
            _isPlaying = true;
        }
        if (director.time >= director.duration)
        {
            director.Stop();
        }
    }
}

まとめ

QuickMagic+Blender+Unityでダンス動画を１週間強で作ることができました！初めての試みでしたが、大きく躓くことなく完成まで持って行けてよかったです。
今年はあまりモデリング自体できなかった（やらなかった？、やる時間がなかった？）ので、来年は色々作りたいです。特にフィギュア作りたいな～とか思って3Dプリンター買って3年くらい経ってしまったのでそういったものに挑戦したいかも。
あまり詳細に書くことはできなかったのですが、この記事がこれからUnityで映像制作を始めたい人、3DCGに興味ある人の手助けになれば幸いです。