【Unity】HDRPを使ったありえん美しいリアルタイムVtuberライブ制作

こんにちはっ🌟八ツ橋まろんです

以前UnityのURP(Universal Render Pipeline)を使ったVtuberのライブ配信の制作について記事 を書きました。

今回は、HDRP(High Definition Render Pipeline)を使ったライブ配信の制作をしたので、HDRPでライブ制作をする際のポイントについての記事です。
該当の配信はこちら

1. HDRPのレンダリングの特徴とライトの機能

HDRPはよく 「フォトリアル」 や 「豪華なライティング」 と言い表されます。

HDRPが通常のUnityと大きく異なる点は、Deferred Rendering(ディファードレンダリング) であるところです。これにより リアルタイムのライトによる負荷上昇が小さい ので、リアルタイムライトをたくさん使えます。(説明は割愛)
※Built-inのUnityはデフォルトではForward Rendering(フォワードレンダリング)です

他にもHDRPの特徴はたくさんあります。
通常Lightコンポーネントはオブジェクトだけを照らしますが、HDRPではVolumetric Fog機能(ボリュメトリックフォグ)によって空間が照らされ、 ライトの軌跡が見える ようになります。

また、Light Layer(ライトレイヤー)を分けることで キャラクターと背景3Dモデルに照射するライトを分ける ことができます。(これはBuilt-inでもレイヤー機能で可能)

さらにShadow設定を変更することで 「キャラクターの影だけを床に映す」 ことができます。

上の画像では、緑色のライトが床だけを照らし、キャラクターには緑色は乗らず、影は床に投影されています。(ついでに影色はピンクを指定しています)

従来だと専用のアセットを使ったり、シェーダーを書いて影だけを表示する床を作ったりしますが、標準機能で対応できるのが嬉しいですね。

2. HDRPのレイトレース系の機能

HDRPの見た目がリッチになる大きな要因が、Raytrace系(レイトレース)のポストエフェクトです。

①Screen Space Ambient Occulusion(スクリーンスペースアンビエントオクルージョン)
②Screen Space Global Illmination(スクリーンスペースグローバルイルミネーション)
③Screen Space Reflection(スクリーンスペースリフレクション)
など

①Screen Space Ambient Occulusionは、空間の隅を暗くするエフェクトです。従来でも使用できましたが、HDRPではRay Tracingモードが追加されています。このモードではより精密に空間を判定するので、従来より正しくアンビエントオクルージョンを適用できます。
[

②Screen Space Global Illminationは、リアルタイムライトでは行われない反射光の計算をポストエフェクトとして疑似再現します。特に負荷が大きくなりやすいので、「Ray Marching」「Ray Tracing」「Mixed」「無効」をすべて試して見た目と負荷具合を調べておくのがおすすめです。

③Screen Space Reflectionは、反射計算をポストエフェクトで行います。反射の再現は従来からReflection Probeが存在するので、どちらがいいかは負荷具合と合わせて検討しましょう。

3. Timelineを使ったライト演出の制作

配信ではムービングライトを多数つかったライト演出をしました。

それぞれのライトの色や動きを一括で制御するスクリプトを作り、Timelineから色制御とライト強度の制御、ライトの向きの制御をしています。

ムービングライトは全部で29個です。これらはすべてリアルタイムライトです。

ライト演出は以下をたくさん使いました。ライト演出を作ったり、ライト制御のスクリプトを自作したい人は参考にしてみてください。

・サーチライト

・Look at target

・単発のフラッシュ

・BPMに合わせてフラッシュ

・ランダムに明滅

また、配信で使用したライト制御のスクリプトはpixivFANBOXで配布しています。

3. 観客モデル

観客モデルを大量に配置して、リアルタイムにアニメーション制御しています。

普通のアニメーションで制御するとGPUスキニングのコストが大きく大量には扱えないため、シェーダーアニメーションによって制御しています。
詳しくはpixivFANBOXの記事で解説しています。

シェーダーアニメーションを実現するのに有用なのがGPU ECS Animation Bakerアセットです。これを元に、観客をTimelineで操作するスクリプトを作成して配信で使いました。
(詳細はpixivFANBOXの記事にて)

4. Visual Effect Graphによるパーティクル表現

パーティクル表現はVisual Effect Graphで作成しています。
(まだ勉強中なので語れることは多くありませんが)

衣装変更のパーティクルでは、コライダーを設定して床を転がるようにしています。

5. 描画負荷の軽減対策

HDRPはリッチな表現ができる反面、設定を間違えるとすぐに高負荷になってしまうので、適切に対策をする必要があります。どの機能の描画負荷が高いのか、事前に検証して順位付けするのがいいでしょう。

以下は、一般的な負荷対策ポイントです。

・影ありのライト数は制限する
ディファードレンダリングにより、大量のリアルタイムライトを使ってもそれほど負荷が高くなりませんが、影の描画はその数だけ負荷が増えるので、影ありのライトは最低限の数にします。

・レイトレース系の機能は一通り試す
特にScreen Space Global IllminationとScreen Space Reflectionは

Ray Marchingモード
Ray Tracingモード
Mixedモード
無効

の4種を試して、プロジェクトに合った負荷を選択するのがいいと思います。

・Dynamic Resolutionを活用する
Dynamic Resolutionは、小さい画面で描画したあと引き延ばして目的の解像度にする機能です。これにより、フラグメントシェーダーの処理やポストエフェクトの処理が軽くなります。

代わりに引き延ばしの処理のための時間が増えますが、削減分の方が大きいです。
特にレイトレース系の処理の軽減には有効だと思います。
過去に試したツイート

以上、HDRPを使ったリアルタイムライブ制作のポイントでした。

上で紹介しているライト制御スクリプト・観客制御のスクリプトは、pixovFANBOXで詳しく紹介しているので、興味のある方はぜひ見てみてください。

それではっ🌟