Unityで口パクアニメーションを録画する方法：VRChatのアバター用

背景

VRChatのアバターを作る最中、アバターが再生する曲に合わせて口パクを同期させたいと思いました。しかし、自分のマイクで曲を再生してモデルの口を動かすのは避けたかったので、この試みを行いました。これはVRChatのモデルを作るためのものですが、一般的なUnityの映像制作でも役立つと思います。そのため、この記事を書くことにしました。

必要なツール

Oculus Lip Sync：これはOculusが提供するリップシンク（口パク）のためのツールです。音声データから口の形を生成することができます。ダウンロードリンク
Unity-Runtime-Animation-Recorder：これはUnityで実行時にアニメーションを録画するためのツールです。これにより、ゲームの実行中にキャラクターの動きを録画し、それをアニメーションクリップとして保存することができます。ダウンロードリンク

手順

Oculus Lip SyncとUnity-Runtime-Animation-Recorderをダウンロードし、Unity内導入します。
.\Assets\Oculus\LipSync\Scenes\LipSync_Demo.unityシーンを開きます。
シーン内のLipSyncTargets\InputType_MicrophoneオブジェクトのInputType_Microphoneコンポーネントを探します。
歌を口パクするため、OVR Lip Sync Mic Input (Script)のチェックを外し、同じオブジェクトのAudio SourceコンポーネントのAudioClipを録画したい音楽に置き換えます。なお、口パクアニメーションの音源として曲自体を使用する場合、伴奏が口パクアニメーションに干渉する可能性があります。そのため、RVCなどのAIツールを使用して人声と伴奏を分離することをお勧めします。具体的な操作方法はここでは省略します。
OVR Lip Sync Context Morph Target (Script)のSkinned Mesh Rendererを口パクを録画したいモデルのメッシュに置き換えます。
Viseme To Blend Targetの数字を自分のモデルメッシュの数字に置き換えます。Oculus LipSyncが認識できる15種類のVisemeは以下の順序に従います：
- sil
- PP
- FF
- TH
- DD
- kk
- CH
- SS
- nn
- RR
- aa
- E
- ih
- oh
- ou
対応する数字をBlenderShapesのnormalメニューに順次入力します。具体的には、blendshapesを持つメッシュのinspectorをロックし、2つのinspectorタブを開きます。一つはdebugモード、もう一つはnormalモードで対照として使用します。
例えば、sil:0、PP:1というように、debugモードで見たsilがElement12、PPがElement10であれば、Viseme To Blend TargetのElement0とElement2をそれぞれ12と10に設定します。
OVRLipSyncContextMorphTargetはOculus LipSyncプラグインの一部で、音声解析結果（つまり"visemes"）を3DモデルのBlendshapes（または"morph targets"）にマッピングします。
Oculus LipSyncでは、Visemeは特定の口の形を表す数値で、発音時の唇と舌の特定の位置に対応します。
OVRLipSyncContextMorphTargetのViseme To Blend Targetフィールドでは、上記の順序でモデルの対応するBlendshape名を入力する必要があります。例えば、モデルに"MouthOpen"という名前のBlendshapeがある場合、それを"aa"（口を開ける）Visemeにマッピングしたいと思うかもしれません。その場合、11番目の位置に"MouthOpen"を入力します。
モデルにはすべてのVisemeに完全に一致するBlendshapesがない場合がありますが、これは正常です。その場合、可能な限りマッチングを行うか、近似するために類似のBlendshapeを使用できます。例えば、モデルに"FF"（上下の歯が接触）Visemeを表す専用のBlendshapeがない場合、口を閉じるBlendshapeを代わりに使用できます。
これらのステップが完了したら、再生ボタンを押すと、キャラクターが再生される曲に合わせて口パクを同期する様子を見ることができます。
次に、blendshapesの録画に移ります。メッシュにUnity Animation Recorderコンポーネントを追加し、Set Save Pathをクリックしてanimationの保存パスを指定します。ファイル名を指定し、下のRecord BlendShapesオプションをチェックします。
再生ボタンを押し、Qを押して録画を開始し、Wを押してanimationを保存します。これで、口パクのanimationを録画できました。おめでとうございます！