使う技術スタック
・TouchDesinger
・vsthost
・MIDI
・SteamVR
実際に使った動画（イヤフォンでの視聴推奨）
こちらの動画は、インカムマイクで録音しております。VRアプリはバーチャルキャストです。
つまり、私の声は3号ちゃんの位置を基準として聞こえますがマイクの位置は常に私の口元にあります。
今回は、このようなASMRな音声の収録をリアルタイムで行う方法について記載します。
はじめに
例えば、VRChatでは相手の位置から相手の声が聞こえます。これがリアリティ感を紡ぎ出す重要な要素となっております。
今回、配信や動画の作成において自分の声をカメラの位置にマイクがあると仮想させて録音することを目指したものです。
Unityだけでは難しかった
本当はUnity内で完結できたら良かったのですが、Unityの3Dオーディオ機能では相手の音を、相手の位置から聞くことはできるのですが、自分の声を自分じゃない位置から3Dオーディオで聞くことができませんでした。（もしもやり方をご存知でしたらご教授願いたいです。）
そのため、今回はアプリの外部・SteamVRとvstを使ってASMRの録音環境を実現します。
おかげでどのVRアプリであってもASMR録音環境を構築することができます。
私の環境図解と今回話す箇所について
まずは大きな画像になりますが、私の音声出力環境図になります。
今回はそのうちのSteamVRを使ったASMR部分（赤枠で囲っている箇所）について解説します。
技術選定(及びその価格)について
今回やりたいこととしては、SteamVRからヘッドセットの位置情報を取得して、そこからキャリブレートしたマイクの位置を基準点としたXYZの距離情報を、立体音響プラグインvstであるOculusSpatializerに流し込むことです。
この情報の受け渡し及び計算にはTouchDesignerを使用しました。SteamVRの情報の取得とMIDIの出力が容易であったことが主な理由となります。
今回のTouchDesignerのアプリ(.toeファイル)の作成は実質2日でできました。この短期間で目的のものが作れたのは間違いなくTouchDesignerのおかげです。
TouchDesingerとOculusSpatializerの間に流す仮想MIDIポートはLoopMIDIを使います。
OculusSpatializerを起動するvsthostについてはCantabile Soloを使っていますが、こちらは別のvsthostで構いません。
価格については以下になります。
OculusSpatializer
無料。sleepfreaksさんのサイトになりますが、こちらがインストールの分かりやすい手順になります。
https://sleepfreaks-dtm.com/sale/oculus-spatializer/
TouchDesigner
非商用なら無料。商用の場合は、実行だけなら300ドル、開発を含めると600ドル。
https://derivative.ca/
LoopMIDI
無料
https://www.tobias-erichsen.de/software/loopmidi.html
Cantabile Solo
有料（69ドル）、vsthost（無料）で代用可能
Cantabile https://www.cantabilesoftware.com/
vsthost https://www.hermannseib.com/english/vsthost.htm
環境構築手順
1.必要なアプリケーションをインストールする
技術選定について記載した各アプリケーションをインストールします。
そして、私が作成した.toeファイルをダウンロードします。下記githubにあります。
https://github.com/feathVR/VR-hand-to-Spatial
2.LoopMIDIで仮想MIDIデバイスを作成する
まず右下のNew port-nameの場所に適当な名前を記述してから、下画像右下の＋マークをクリックします。
すると、仮想MIDIポートが作成できます。
3.TouchDesingerの設定
まず、TouchDesingerを起動して、DialogsからMIDI Device Mapperをクリックします。
そして、デバイスがない場合はCreate New Mappingで1.0のデバイス項目を作成してOut Deviceに、先程作成した仮想MIDIポートを設定します。
あとは、F1キーを押せばOKです。
キャリブレート時の右手の位置がマイク位置になります。
・Aボタン同時押し
・Bボタン同時押し
・AorBボタン同時押し
でキャリブレートができるようになっています。これは両手で同じボタンを押す必要があります。そのときに使用しているVRアプリで、操作に支障が出ない方のボタンで同時押しすると良いです。
また、右手の方向について
・対面
・同一方向
を選択することができます。基本的には対面で良いと思います。
4.loopMIDIからvsthostにMIDIの情報を流し込む
これはvsthostによるのですが、今回はCantabile soloを使った連携方法について解説します。
a.MIDIポートを追加する
Cantabile Soloのreferenceを開いて、MIDI PortsからLoopMIDIで作成したデバイスを追加します。
b.OculusSpatializerを追加する
OculusSpatializerを使用するプラグインとして追加します。
c.OculusSpatizlierにMIDIを繋げる
OculusSpatializerのxpos,ypos,zposに作成した仮想MIDIポートをつなげます。
渡すデータは1バイトではないので、その点は注意！
5.これで完成！
あとはお好きなVRアプリを起動して、マイクの位置に右手を重ねてAボタンかBボタンを両手で同時押しすればその位置がマイクになります。