はじめまして。2017年に音楽活動を仮想化したDJ SHARPNEL(@sharpnelsound)です。Qiita初投稿です。
音楽活動の仮想化についてはPANORAさんのインタビューをご参照ください。
この投稿はVRChat Advent Calendar 2018の6日目として書きました。
概要
VRChatのクラブは楽しい（みんなkawaiiので）
現実のクラブも楽しい（音とかつよいので）
両方繋げればもっと楽しいのでは？ということで軽率に繋いでみました。
2018年4月29日深夜に開催した、リアル/VRChat/動画配信同時ライブイベント「HARDTEK CHANNEL VR」での事例をベースに、現実とVRChat内のクラブをつなぐクラブイベントの実践について紹介します。
用意するもの
- 現実側
- イベント会場（照明・DJ機材・音響などが設備として用意されている、所謂クラブやライブハウスをレンタルします）
- インターネット回線（お店の固定回線を配信用に使わせてもらえるクラブもあります。UPが強回線い光が望ましい）
- ステージ撮影用Webカメラ
- ステージ映像配信用PC（スペック：Core-i7/RAM 16GB/GTX870m/Windows10）
- VRChatプレイ兼映像配信用PC（スペック：Core-i5/RAM 4GB/intel内蔵/Windows10）
- VRChat動作確認用PC（スペック：Core-i5/RAM 8GB/GTX1060/Windows10）
- SNS投稿用PC（スマホ/タブレットで代用可）
- 各種ケーブル（RCA-ステレオミニケーブル・LANケーブル等）
- カメラ固定用フレキシブル三脚
- VRChat側
- Twitchのストリーミングに対応したクラブワールド（今回は自前のAkihabara Live Clubを使用）
- 公開インスタンスへの誘導ページ
- 配信サービス
- Twitchアカウント（VRChatへの配信用）
- Youtubeアカウント（VRChat映像のYoutubeへの配信用）
接続概要図
リアル・バーチャル同時ライブイベント開催の接続概要図はこちら。
現地の映像をVRChat内に配信し、VRChat内の様子をさらに動画配信しています。
現実→VRChatへの配信側の接続
現実のクラブのDJブースでプレイする姿を撮影し、VRChat内にライブストリーミングします。
- WEBカメラ①をブース正面に設置し配信用PC(③)に接続します。VRChat内のストリーミング映像が映し出される領域にサイズが合うように画角を調整します。
- DJミキサー（Pioneer DJM900NEXUS)②のREC OUT(レコーディング用出力)を配信用PC③のライン入力に接続します。
- 配信用PC③のOBSでWEBカメラ入力とライン入力された音声を合成し、Twitch④にストリームを送信します。
- Twitch④の映像がVRChat⑤内のワールド内に配信されます
- Let's Party!
VRChat内への配信はYoutubeでも代用可能です。
クラブに設置されたDJミキサーの種類によってはREC OUTを装備していない機種もあると思います。
その場合はPAさん（クラブ側で音響を担当しているスタッフ）に確認して、メインミキサーから出力を分けてもらうことが可能です。
ネットワークについては、クラブ側に設置してあるWifiを使用すると動画のストリーミングに堪えられない場合があります。可能な限り有線LANでの接続をお勧めします。店内に有線LAN設備がある場合でも、ステージまで距離がある可能性があります。
15m～20m程度の長めのLANケーブルがあると重宝します。
VRChatワールド内への映像の表示
ワールド内でのストリーミング映像の表示には、VRC_SyncVideoStreamコンポーネントを使用します。
ワールドへの実装方法は下記URLを参考にしてください。
私が制作しているAkihabara Live Clubでは、VRC_SyncVideoStreamコンポーネントを通して配信される音源について、エフェクトや空間効果をオフにすることで、空間内のどこにいてもノーマルな2MIX音声がクリアに聞こえるように設定しています。
このあたりは制作されるクラブの雰囲気などに合わせて設定されるとよいと思います。
VRC_SyncVideoStreamコンポーネントは
- Windows10でしか動作しない
- たまに不安定
と、原因不明の現象に悩まされることの多いコンポーネントです。
特に日時の決まったライブイベントをVRChatで開催する場合、VRC_SyncVideoStreamの問題で即時のユーザ対応を迫られる場面が頻発します。可能であればVRChat側の対応を行えるスタッフを用意したいところです。
VRChat内の様子をYoutubeに配信
VRChat内で開催されている様子を、映像としてYoutube経由で動画視聴者に配信します。
VRChatプレイ兼映像配信用PC⑥で実行しているVRChatでクラブワールドにJoinし（今回はデスクトップモードで接続）、そのアバターの視点をOBSのウィンドウキャプチャと音声キャプチャで合成しYoutubeに配信します。
この配信により、VRChatを導入していない方やスマホ等のモバイル環境でも視聴することができます。
HARDTEK CHANNEL VR ”Re-Play" at VRChat Akihabara Live Club 5.5.2018
(イベント終了後の5/5に再公演(Re-Play)した際の映像）
まとめ ～VRとリアルの同時開催の面白さ～
以上のような手順でVRChat内とリアル、そして動画サイトを通じて現実とVR同時にクラブイベントを開催することができます。
4月に開催した「HARDTEK CHANNEL VR」では、国内外のDJ/ライブアクトのプレイを、現実のクラブからVRChat内に、そしてその様子をYoutubeで配信することで、どこが「現場」なのかわからないがなんだか盛り上がっている妙な雰囲気を作り出すことができました。
VRChat内の会場では、日本をはじめ韓国、台湾、アメリカ、アルゼンチン、チェコ、ドイツ、フランスなどなど世界中のファンがVR空間を通じて邂逅し、現実側クラブからVRChatに接続していた出演アーティストや国を超えたファン同士のコミュニケーションを楽しんでいました。
現実で見るか、VRで見るか。うれしい悩みですね。
低音が足りない？こちらをどうぞ。
SUBPAC - Feel Physical Audio in Music, Gaming, VR & Cinema
おわりに
4月に開催したVR/現実同時開催イベントHARDTEK CHANNEL VRの模様については、
SHARPNELSOUND初のVRクラブイベント開催！現実のクラブを貸し切ってVRChat内のクラブに配信するイベント「HARDTEK CHANNEL VR」を開催しました | SHARPNELSOUND Official web
に掲載しています。
また、12/9(日曜日)には、早稲田茶箱で開催されるクラブイベント「Beyond Boundaries」に、DJ SHARPNELがVRから出演します。当日はVR側の出演者（私）と現地VJの映像がリアルタイム合成されて会場に登場する「境界を越えた」演出を予定してします。VRChatサービス側に問題がなければ、VRChat内ワールドへの同時配信を行います。
自分もVR側で出演のため、VRChat内で一緒に盛り上がりたいと思いますので是非チェックしてみてください。
以上、「VRChatと現実のクラブをつないだリアル・バーチャル同時ライブイベントを開催する」でした。