この記事はNeosVR reso アドベントカレンダーの16日目です。
https://qiita.com/advent-calendar/2020/neosvr_reso
#一体マニュピレーターとはなんぞや？
端的に言うと”舞台にPCを二台並べて生演奏との同期演奏をオペレートする人”です。
音源に入っている効果音、編成にない楽器の音などを演者に返し開場に出力する仕事です。ピンと来ないかたはセカオワのDJ Love を想像してください。
基本的にはホストアプリケーションであるDAWが落ちた瞬間全てが終わりなので、一台目のPCからサイン波を出しておき、それが途切れた（DAWが落ちた）瞬間に二台目に切り替わり、その間に一台目を復旧するという仕組みです。
####基本的にスペースキー一発押し間違えたら全てが終わります。
そして、ライブセットの作成、リハでのバランス調整、演者との打ち合わせ、コミュニケーションなど、
####9割が仕込みですが、かなりの重労働です。
さて、一般的な説明はこのあたりにして、わたしの今回のオペレートの仕組みをみていきましょう。
#環境構築
今回全楽曲提供＆VRマニュピレーターとして参加したイベントです。
いよいよあす21:50オープン！
— みずの Loves Ableton Live&Elixir (@kmizuno0211_x) December 10, 2020
全楽曲提供＆VRマニュピレーターで参戦します！！
どうぞよしなに！
VRカタリアウ @cluster 2020 https://t.co/Pi2cfpeXaF #vrk5
#####ハードウェア
Apple MacBook Pro 16インチ
Apple Earpods(モニター用＆本番中Discordインカム）
Logicool Webカメラ（リハ＆閉幕時開場出力用マイク）
Ableton Push(オペレート用MIDIコントローラー）
#####ソフトウェア
Ableton Live 10 Suite(ホストアプリケーション）
Cluster(イベントプラットフォーム）
Soundflower(ルーティング用仮想デバイス)
LadioCast(仮想ミキサー）
Discord（本番インカム用)
Evernote（当日のタイミング、キーフレーズと対応する音源を記載したメモ）
今回通常のマニュピレーターと異なるのは
・PCが一台（しょうがない）
・仮想ルーティングを組む（Windows上のNeosVRなどで行う際はBoiceMeeter BANANAなどを使用します。）
・DAW以外のアプリケーションも使う（間違えてAbleton Live上でスペースキー押した瞬間に終わる）
などでしょうか。
#マニュピレーターは仕込みが9割
今回使用したライブセットです。
一番上は空のMIDIトラックで、シーンごとに頭出しのあとミュート解除忘れずに！などメモが書いてあります。これはリモートで共同制作をする際などにも使えるテクニックです。マーカーも大量に使用しています。
基本的にはシーンごとに右に並んでいくトラックを再生し、待機位置で下段に置かれているドラムサンプラーからSEを再生していきます。
一番右のトラックはトラブル対応用でしたが、当日はオンエア終了後の盛り上げ用に再生しました。
これをリハを重ねるたびに仕様変更し保全していくのがこのセット上での仕込みです。
こんな感じです。
#VRならではの工夫
#####・仮想デバイス/ミキサーでのルーティング
Ustream初期から持ち込みで自分のライブイベント配信などを行っていたのでかなり慣れている領域なのですが、なかなか骨が折れました。
プラットフォームアプリによって条件が若干異なるのが最も頭が痛いポイントです。
Clusterは入力がOSのサウンド入力に準拠するため、入出力ともに同じ仮想デバイスを指定しないといけないことから、入出力が一体型の最新の仮想デバイスでは
######ループバックによって回線事故が起こるリスクがかなり高い
ことで悩まされました。
結局Soundflowerという古いものの使い慣れた仮想デバイスを再インストールすることで仮想デバイスの入出力を切り分けることができました。
（当時はSoundflowerの入出力アサインが難解でみんな苦労しました。）
画像右上が仮想ミキサーのLadioCastで、DAWからのアウト（Soundflower（2ch）)や会場出力用マイクを纏め、Soundflower（64ch）やイヤフォンに返しています。
すべてを説明しきれてはいませんし、Win/Macでもオーディオドライバの規格、制約などに違いがあります。
#####他のアプリケーションも使う
これはVRマニュピレートの本番で最も気を遣うポイントです。
基本的にはマニュピレートするセットにはオーディオファイルのみをセットし、不要なプラグインもカットし限界までセットを軽くしていきます。
そして舞台でマニュピレートするPCではホストアプリケーションとオーディオI/OのDSPミキサー以外すべてのアプリケーションを切り、セットに専念します。
VRマニュピレーターではアウト回線数や楽曲ごとのパートがひとつなのでその点は楽なのですが、代わりにClusuterで会場の様子をPA席からモニターしますし、Discordで連絡も飛んで来ますし、間違えてAbleton Liveのスペースキーを押してしまっても
#####全てが終わります。
細心の注意を払うことによって、今回はノーミスで終わることができました。
ノーミスすなわち成功が一番目立たないのですが、
Cluster本会場、VRCサテライト会場、YouTube、ニコ生などの同時視聴環境（我らがNeosVR勢は温泉で麻雀打ちながら観ててくれましたｗ）の総視聴数を考えるとそこそこのホールくらいの人数になります。
48グループなどのスタジアムイベントでこれを行う仕事の方にお話を伺ったときは
###マジで寿命が削れる
とのことでした。
あとは、保全したセットのバランス以降の調整はPAさんの仕事なのですが、直前に演者のかたがたとわたしの音量の相対的バランスを取るのもちょっとしたプラスアルファの仕事でした。
#誰でもできるマニュピレーター！
撮影: @ichitarok さん
なんかマニュピレーターの背景の恐ろしさばかり語ってしまいましたが、
なんでもいいんです。
VRで楽器演奏しながら声を出したい、DJがしたい、本当にマニュピレーターやってみたい、かくいうわたしも
#####VR以外でマニュピレーターやったことありませんでした。
要は
・VRが動くコンピューター
・ホストDAWアプリケーション
（Presonus Studio One 5 Primeは無料、Ableton Live 10 Introは一万円程度のオーディオI/O、MIDIキーボードの多くに付属しています)
・仮想デバイス/ミキサー
・イヤホンマイク
#####があればあなたにもできちゃいます。
必要なのは愛と勇気です。
終演後、裏方だしな〜と思っていたら思っていたより多くの方が音楽を褒めてくれましたし、
なんと
草羽エル初となるオリジナル楽曲を制作してくれたみずのさんです❕❕❕🍀✨
— 草羽エル🍀2周年ありがとう🎉 (@kusahaelv) December 14, 2020
音楽系の心強すぎる味方ができた………❕✨😳🐟MVketが楽しみすぎるね……❕❕😆😋✨⭐️#草羽エル2周年 https://t.co/tYeorppHve pic.twitter.com/rgfaD5SRzc
VTuber草羽エルさんがこのイベントのファンアートまで書いてくれたのをきっかけに
#####12/14(mon)彼女の２周年イベントでご自身初となる楽曲を提供＆初演がありました！！！！！
出会ってから24時間弱で作編曲、ボーカルまでトラックダウンしました。
Neosに遊びに来てくれて偶然をつくってくれたまるで接着剤のようなある方に感謝。
燃え尽きましたし、やりがいもありました。
VRをはじめてから根本的に生活が幸せになりましたが、誰かの役に立てるのはその幸せの最たるものです。
#おわりに
わたくしKento MizunoはNeosVRのパブリックインベントリに開発・イベント・DJなんでもご利用いただける音楽を大量にアップロードしています。Neos ID はkmizuno0211です。
主だった作品はSoundCloudにまとまっています。
https://soundcloud.com/floatingflatfeet
お仕事、楽曲使用のライセンス許諾のご相談はなにかしらの手段でお気軽にご連絡ください。
12/18（Fri）にソロ名義初の作品集”Can't hear you"がSpotify、Apple Music、YouTube Musicその他国内ほぼ全てのサブスクリプションサービスを通じて配信されます。OTOTOYなどでのハイレゾ販売もあります。
ひとことでいうと
#####活動めっちゃくちゃ応援してください！！！
ありがとうございました。
Kento Mizuno