この記事は，VTuber Tech Advent Calendarの17日目の記事です。
「Vtuberの方の遠隔登壇かトークショーをやる時の話」とざっくりなテーマでエントリーしておりましたが、表題のテーマについて書きます。
この記事で想定するシステム
以下の様な感じで、リアル会場のスクリーンに登場し、リアル会場にいるリアル人間（司会者や観客）とコミュニケーションしつつ、トークテーマなどのスライドを同時に映すということを想定しています。
VTuberさんは、Discordのビデオ通話で、グリーンバックでご自身の姿と声を送ってもらう
VTuberそのものを動かす仕組みは、このアドベントカレンダーの他の記事で素晴らしいものがたくさんあるので、私の記事では割愛します。
遠隔地のVTuberさんには、Discordの画面共有でお姿を、声はDiscordのマイク入力で送ってもらいます。今回はとりあえず「SHOWROOM V」を動かしているiPhoneの画面をMacで取り込み、Mac上のDiscordから送っています
リアル会場のほうのDiscordで受け取ります。こんな感じで届いていると思います。
DiscordをOBSで取り込むときは「画面キャプチャ」で
私の環境（Windows 10のNVIDIA GPU搭載のゲーミングノート）では、Discordの画面をOBSで取り込むには「画面キャプチャ」でないと取り込めませんでした。ウインドウキャプチャやゲームキャプチャだと真っ黒で取り込めない。環境の問題かもしれませんし、なにか手もあるのかもしれませんが、とりあえず画面キャプチャで取り込みましょう。
もしも複数のディスプレイを使える環境なら、一つのディスプレイにDiscordを全画面表示にして、そのディスプレイを「画面キャプチャ」で取り込むと他のウインドウとの干渉を考えなくて良くなるので楽です。
取り込めたら、良い感じにクロップしましょう。OBS上では、枠の隅をAltキー押しながらマウス左ボタンでドラッグすることで、クロップ（不要領域の切り取り）ができます。
ここに「クロマキー」フィルタをかけて、グリーンを透過させます。
すると、透過されています。
あとは、なにかスライドとかを表示すれば、画面は完成します。とりあえず画像を置いていますが、パワーポイントの画面を取り込んでもいいかと思います。もし、司会者が別のPCでスライドを操作するシチュエーションなら、司会者のPCのHDMI出力をUSBビデオキャプチャデバイスで受け取って、それをOBSで「映像キャプチャデバイス」として受け取って、OBS上で合わせるという応用も可能です。
OBSの画面をスクリーンに映す
つづいて、こうして作ったOBSの画面を、会場のプロジェクターに映します。
とりあえず、上図のように、PCに操作用のディスプレイと、会場のスクリーンが繋がっている状況とします。ディスプレイの枚数が増えても基本的には選ぶ先が変わるだけなので同じです。
ディスプレイの設定は拡張にしておきましょう。
この状態で、OBSで作った画面の上で右クリックして、「全画面プロジェクター」から、会場のスクリーンにあたるディスプレイを選びます。下図の状況だと、「ディスプレイ1」が会場のスクリーンの想定です。
すると下図のようになります。右にあるDELLのモニターが会場のスクリーンだと思ってください。
これで、Vtuberさんとスライドを同時に画面に出すことができました！
音声はDiscordでやりとりする
VTuberさんには、音声もDiscordで、お姿と一緒に送ってもらいます。
会場では、Discordの出力デバイスとして設定されているデバイスから出している音を、会場のミキサーやスピーカーに渡します。
また、会場からの音声は、入力デバイスとして設定されているデバイスに入力します。ミキサーさんがいる会場の場合は「マイナスワンで下さい」と言いましょう。マイナスワンとは、会場で流れている音声のうち、VTuberさんご自身の声だけをなくした音声を指します。こうすると、遠隔地に居るVTuberさんは時間差で自分の声が返ってくることがなくなるので、とても話しやすくなります。
ミキサーさんがいない場合は、集音するマイクとスピーカーの位置を試行錯誤して、できるだけ会場に流れるVTuberさんの音声を拾わないようにして戻してあげるといいと思います。
また、プロのミキサーさんがいたり、会場全体のざわめきを録ってVTuberさんに戻したい場合、Discordの入力感度の自動調整が邪魔をすることがあります。なので、自動調整をオフにし、感度の閾値を一番左まで下げましょう。
カメラで会場の様子を返す
VTuberさんに、まるでその場に居るように話してもらうには、会場の様子をお伝えすることも大事です。これもDiscordのビデオ通話なら、Webcamを繋いでビデオ通話として会場の映像を返せばOK。
カメラの置く位置は、できるだけ会場でVTuberさんが表示される場所の近くに置きます。すると、たとえば司会者のほうを向く、会場を見渡すなどの動きが目線に不自然なところがなくなります。
また、VTuberさんはご自身の操作性のために、表示の左右反転を駆使したりしていることがあります。なので、カメラの左右と動きの左右があべこべになってしまうことも。リハの段階で、司会者が「VTuberさん、カメラで僕が表示されている方向を向いてください」と聞いて、ちゃんと向きがあっているか確認しましょう。
もしも逆になってしまっているようでしたら、送るカメラの映像を反転させるか、OBS上で表示されているVTuberさんのお姿を反転させるかなどの手を使います。ただ、VTuberさんのお姿を反転させるのは衣装や髪型のデザインが反転して失礼に当たるので、あくまでも最終手段。
送るカメラの映像を反転させる方法をとりましょう（カメラの反転はいろんなやり方があるのでこの記事では省略します）。
また、VTuberさんによっては、自分の位置だけでなく、他の位置のカメラも欲しいと言われることがあります。そういうときは、別のビデオチャットソフト（Skypeやappear.inなど）を併用して、別位置の映像を送ると喜ばれます。
重要なのは準備
丁寧にやろうとすると、結構面倒な部分もあります。その場でいきなりだと上手くいかないことも。
VTuberさんをリアル会場に顕現させるのはとても大変な事なことなので、入念な準備とリハが必要ということを覚えておくといいかと思います。打合せの段階でリハや設営の時間が短かったら、ハッキリと「もっと時間が必要です」と言うことが、実は運用上とても大事な「ノウハウ」かもしれません。