概要
無料のソフトとWebカメラを使用して、音声付きのVtuberな研修動画を作成する。
※動画編集ソフトのみ有料のPowerDirectorを使用していますがフリーのソフトでも可能です
1. VRoidStudioでVtuberモデルを作成する
ここからVRoidStudioをダウンロードする。
インストールして適当にモデルを作成する。
作成したモデルをVRM形式で保存する。
2. VOICEVOXで読み上げ音声を作成する
職場には可愛い声の女の子がいなかったので、可愛い声で原稿を読み上げてくれるソフトを使用します。
AIを使用しているらしく、なかなか高品質な読み上げを行ってくれます。
VOICEVOXをダウンロードして起動します。
読み上げるキャラクターを選択して、原稿を打ち込みます。
読み上げ音声を確認してアクセントやイントネーションなどを調整します。
3. 研修用の動画を作成する
なんでもいいので、デスクトップの作業を録画できるソフトを使用します。
ScreenToGifや、AG-デスクトップレコーダーなどがいいと思います。
4. 動画と音声を合体させる
作業を録画した研修用の動画と、VOICEVOXで作成した音声を合体させます。
フリーの動画編集ソフトでも可能ですが、会社にあった有料のソフト(PowerDirector)を使用しました。
なおここでは、読み上げ音声のみを合成します。BGMや効果音を入れると、あとでVRMモデルをリップシンクさせたときに、口の動きが合わなくなります。
合体させたら、mp4などの動画で保存します。
5. 3teneFREEでモデルを動かす
作成したVRMモデルをWebカメラのトラッキングで動かすために、3teneFREEを使用します。
-
起動したら、3teneに作成したVRMモデルをインポートします。
-
トラッキングの設定をします。
（今回は、「フェイストラッキング」と「リップシンク」を開始する）
-
背景をOBS Studioで透過させるために緑色にする。
6. OBS Studioで動画とモデル動作を合成する
3teneの仮想カメラの映像と研修動画を合成するために、OBS Studioを使用します。
- OBS Studioを起動します。
- ソースとして2つ指定します。
映像キャプチャデバイス：3teneで出力している仮想カメラの映像
メディアソース：研修用に録画した動画（音声付き）
-
映像キャプチャデバイスのクロマキーを設定する
映像キャプチャデバイスを選択して「フィルタ」をクリックする。
エフェクトフィルタ（クロマキー）を追加する。
色キーは「緑」でキレイに抜けます。
-
研修の読み上げ音声を仮想オーディオデバイスに入力して、3teneのリップシンクを動かす。
インストールして、再生と録音デバイスに「VB-Audio Virtual Cable」を既定のデバイスに設定します。
メディアソースの本当の音声を出力してしまうと、OBS Studioで3teneと合成した動画を作成した際に、音声が2重になってしまいます。
なので、メディアソースは「モニターのみ（出力はミュート）」に設定します。
これでメディアソースを再生すると、音声に合わせてVRMモデルの口が動いてくれます。
- OBS Studioの録画を開始する
メディアソースを再生しつつ、再生している動画に合わせて顔の向きや、
ポージングなどを取り入れれば、Vtuverな研修動画を作成できます。
ただし、これだけだと顔の動きしかトレースできません。
手も動かしたい場合は、「LeapMotion」というハードウェアが必要です。（1万5千円くらい）
7 完成した動画
投稿用にGifアニメにエンコードしているので画質は悪いですが、mp4とかに出力すればもっと高画質です。
