この記事はVRChat Advent Calendar 2018の9日目の記事になります。
昨日の記事は@kleus_balutさんによる、VRChatで使われている3Dオーディオ技術でした。
はじめに
SilentClubのオーナーのryouです。
今回のアドベントカレンダーではSilentClubを作る過程で得た知見、使用した技術、細かいTips等を雑多に書こうと思います。
SilentClubとは
基本的に毎週土曜日の21:00～、Friend+で開いているボイスチャット強制ミュートワールドになります。
運営はryou（技術担当。主にUnity）とsilinder（デザイン担当。主にBlender）の二人でやっています。
PostProcessingStackのBloomに関して
Unlitアバターが光らないよう調整する
Bloomですが、何も考えずに使用してしまうとUnlitシェーダーを使用したアバターが通常より明るくなってしまいます。一部ワールドでUnlitなアバターを使うと発光して見える経験をした人は結構いるはずです。
例を挙げましょう。以下画像はUnlitなUnityちゃんとEmissionを設定したQuadになります。
これにBloomを設定してみます。（わかりやすいようにIntensityを強めにしています。）
Quadが光ったのと同時に、Unityちゃんも光ってしまいました。このように、Bloomは設定に気をつけないとUnlitアバターが光るようになってしまいます。
では、どのように設定すれば光らないかと言うと、
Bloomの設定項目内Brightness Responseに濃いグレーの範囲があると思うのですが、これの左端がグレーの縦線より右側になるようにしましょう。
濃いグレーの範囲の位置はThresholdの数値を大きくすることで右に移動します。Soft Kneeがデフォルトの数値の場合は、1.375程度にしておけば良い感じの位置に来ると思います。
こう設定すると次の画像のようにアバターが光らなくなります。
Thresholdを調整した影響でQuadの光も弱くなっていますが、それはQuadのEmissionを強くすることで調整しましょう。
設定は控えめにする
Bloomに関する補足ですが、設定は基本的に控えめにしたほうがいいと思います。これは別に「Bloomマシマシだと初心者っぽくてダサい」といった理由ではありません。
Bloomの設定を強くしてしまうと、ユーザーのアバターが想定より輝いてしまい、結果的に周囲のユーザーに迷惑をかけてしまう、気まずくなってしまう状況が出てしまうからです。
当然Bloomが控えめであれば、「ちょっと光り方が物足りないな」という状況は多くなりますが、周囲に迷惑をかけて気まずくなってしまうよりよっぽど良いと考えています。
なので、ワールドのエフェクトをより輝かせたい場合は基本的にBloomを強くするのではなく、エフェクト自体のEmissionを強めにする等で対応するのがベターかと思います。
RealTimeReflectionProbeを使用した動画・エフェクトの反射
画像のように、ダンスホール内のステージに動画とエフェクトがリアルタイムに反射するようにしています。
これはReflectionProbeをRealTimeにして実現しています。ゴーストクラブでも動画が反射しているスクリーンショットを目にしましたが、おそらく同じ方法だと思います。ReflectionProbeを利用して動画の反射を表現することで、アバターの金属部分にも動画が反射するようになり、そこはかとなくイケてる感じになります。
ただ、RealTimeなReflectionProbeはかなり重い機能なので、単純に配置してしまうとめちゃくちゃ負荷がかかってしまいます。
そのため必要最小限の物のみを反射させるようにして、負荷を抑えています。
具体的には、反射させるオブジェクト用のレイヤー（今回はDanceHallDisplayという名前）を追加し、Culling Maskでそのレイヤーを指定しています。
この方法で必要最小限のオブジェクトのみ反射するようにして、RealTimeReflectionProbe負荷を出来るだけ抑えましょう。実装の際は負荷計測もしっかりして、処理負荷が許容範囲内に収まっていることも確認したほうが良いかと思います。
負荷の計測
負荷軽減作業をする際、まず鉄則として「CPU/GPU/Memory/Network等のどこがボトルネックになっているのか調べる」という事をしなければなりません。
その理由に関しては、まろんさんがツイートされていた以下の動画でわかりやすくまとめられています。
おはろーん☆
— まろん@アカデミアVtuber (@Maron_Vtuber) 2018年11月18日
今日から #朝Unity を始めるよー！
どんどん勉強してこーね！ pic.twitter.com/RX8vJs2LPz
動画で言われているように、例えば「CPUの処理が追いついていないせいでFPSが下がっているのに、GPUの負荷軽減作業をしても意味がない」という事になります。負荷計測をしないとこういうことが頻繁に起こってしまいます。
また負荷計測を行わなかった場合、行った作業が効果を発揮したのか、発揮したのであればどの程度負荷が軽減されたのかといったことがわかりません。「実はほとんど負荷が減っていないのに作業にめちゃくちゃ時間がかかった」や「負荷が大して減らないのにワールドのクオリティがかなり下がる」などといったパターンが結構あります。負荷計測を行いそのような作業がわかれば、次に活かすことが出来ます。
他にも例えば、アバターの負荷に関する話になりますが、DynamicBoneのGravityが処理負荷に影響しないということも負荷計測によって判明しました。以前はちらほら「DynamicBoneのGravityはめちゃくちゃ重い」という噂が立っていたのですが、負荷計測をきちんと行うことで噂に惑わされずに済みます。
計測方法
CPU/GPUの負荷に処理時間に関してはSteamVRのフレームタイミングという機能を使う事で計測が出来ます。
SteamVR > 設定 > 動画にフレームタイミングを表示というボタンがあるので、それをクリックすることでCPU/GPUの処理時間を確認することが出来ます。
グラフの横軸は時間（フレーム）、縦軸は各フレームにおけるCPU/GPUの処理時間になります。90FPSを実現するにはグラフが11ms以下、45FPSの場合は22ms以下に収まってる必要があります。
左下のヘッドセットに表示にチェックを入れると、アバターの右腕にこのグラフが表示されるようになるのでHMDをつけてVRChatをプレイしながら処理負荷を確認することが出来ます。
フレームタイミングを利用して、CPU/GPUどちらの処理がボトルネックになっているのかを調べ、その負荷を減らすような負荷軽減作業をするようにしましょう。
音楽がこもったりこもらなかったりを切り替える
SilentClubに来て頂いた方であれば気づいた方もいるかもしれませんが、ダンスホール周辺では音がこもって聞こえるようにしています。
どう実装しているかと言うと、AudioSourceにAudio Low Pass Filterというコンポーネントを付けることで実装しています。
ダンスホールの入り口にこのコンポーネントの有効・無効を切り替えるトリガーを配置することで、ダンスホール内外でこもったりこもらなかったりするようにしています。
音のこもり具合はCutoff Frequencyを弄ることで調整出来るので同じことをする場合は良い感じに調整して下さい。（数値を下げるほどこもります）
ジャンプしたり物を投げたりした際によく飛ぶようにする
基本的にジャンプする、物を投げる等の動作をした場合は若干大げさなくらい飛ぶようにしたほうがユーザーとしては気持ちがいいです。
デフォルトの設定では全然飛ばないのでSilentClubでは以下のように重力設定を弱めに、VRC_Player ModsのjumpPowerを高めに設定することでよく飛ぶようにしています。
ダンスホールの前方でぐるぐる回ってるエフェクト
楽しい pic.twitter.com/1xE2jfYltV
— ryou (@ryou_Ein) 2018年7月13日
これ。シェーダー書いて実装してます。
GitHubにプロジェクトとUnityPackageを置いてますので、もし使用したい場合はそちらをどうぞ。
リアルタイムライトを使わない事で、Cubedシェーダーのアバターの顔に陰が出来ないように
Silent Clubは「僕の顔に影が入ると可愛くない」という僕の独善的理由により一部を除いてリアルタイムライトは置いてないです
— スピルカ|Silent Club 12/8(土) OPEN (@spilca_snowboot) 2018年9月19日
その代わりライトプローブちゃんと置いてるからゆるして
これに関してもうちょっと細かい話をすると、ライトプローブでも陰影は出ます。なので通常であればライトプローブのみでリアルタイムライト無しでも顔に陰影は出来ます。（続く） https://t.co/YXlVxcRixX
— ryou (@ryou_Ein) 2018年9月19日
ただCubedシェーダーのFlatLitToonに限って言えばライトプローブによる陰影が（ほぼ）出ないような作りになっており、ワールドをライトプローブメインで作れば（当時）シェアの高かったFlatLitToonで顔に陰影が出来なくなるから良くない？という判断の結果ほぼライトプローブのみという形にしました。
— ryou (@ryou_Ein) 2018年9月19日
当然顔以外の部分の陰影も出なくなるのでそこはトレードオフですが。顔が命とそっちを重視した結果ということで…
— ryou (@ryou_Ein) 2018年9月19日
この一連のツイートが全てなのですが、SilentClubでは一部を除きリアルタイムライトを使っていません。ワールド全体を照らすディレクショナルライトもありません。
これは負荷軽減的な意味もあるのですが、ツイートの通り当時大きなシェアを占めていたであろうCubedシェーダーでリアルタイムライトによる強い陰影が出来なくなるというのが一番の理由になっています。
この画像はかなり悪いパターンですが、似たような状況は目にしたことがあると思います。これはCubedシェーダーのFlatLitToonのデフォルト設定を適用した状態のマテリアルにIntensityが1.0のディレクショナルライトを当てた状態になります。リアルタイムライトを配置するとこのように「折角写真を撮ったけど顔に変な影が入ってしまった」という状況に結構な頻度で遭遇してしまいます。
こちらの画像は、ディレクショナルライトをBakedにしてLightProbeを置いたパターンです。顔の陰影が無くなっています。同時に、ライトによる体の陰影も消えています。
リアルタイムライトによる顔の影対策としてはFlatLitToonのShadowを0にする、陰影対策がされているシェーダーを使う等あるのですが、そういう対策法を知らない人でも変な影が出ないようにワールド側で対策したいということでこういう形にしています。
もちろんリアルタイムライトが無いと床に影が落ちなかったり、体の陰影が出来なかったり、スペキュラが出なかったり等デメリットも多いため、そこはワールド製作者のポリシーによりますし絶対にこのやり方が良いとは言えません。こういう方針もあるよという参考にして頂ければと思います。
あとがき
SilentClub作るに当たって活用した技術的な話は全く隠すつもりはなくて、そのうち記事にして公開したいと思っています（自分自身色々な方が公開している情報を活用させてもらったので）
— ryou (@ryou_Ein) 2018年7月29日
そのうち（約４ヶ月後）。
今回記事にしていない内容でも、SilentClubで「これどうやって実装してるんだろう？」みたいな物があれば気軽に聞いてもらえればと思います。
明日のVRChat Advent Calendarは@nyakome306さんです。お楽しみに！