Don’t Splat your Gaussians: Volumetric Ray-Traced Primitives for Modeling and Rendering Scattering and Emissive Media (2025)

Don’t Splat your Gaussians: Volumetric Ray-Traced Primitives for Modeling and Rendering Scattering and Emissive Media (Meta, 2025)

3行要約

1. 💡本研究は、散乱・発光性媒体をモデル化するコンパクトで効率的な方法として、3Dカーネルベースのボリュメトリックプリミティブ（例：ガウス分布、Epanechnikovカーネル）を提案し、従来のボクセルグリッド表現に比べ大幅なメモリ削減とレンダリング高速化を実現します。
2. 🚀放射伝達理論に基づくこの手法は、透過率と自由飛行距離サンプリングの閉形式解を提供し、レイトレーシングと随伴導関数により、順方向および逆方向の物理ベースレンダリングを効率的に実現します。
3. 🎯提案手法は、散乱媒体のフォワード/インバースレンダリング、トモグラフィー、ラディアンスフィールドの最適化など多様なアプリケーションで有効性を示し、特にEpanechnikovカーネルの使用により高速化とシャープなディテール表現が可能になります。

Q:何が問題で、それをどのように解決したのか、わかりやすく説明してください

A:

---

この研究が解決しようとした「問題」は何ですか？

コンピュータグラフィックスで、雲や煙、霧のようなふわふわした立体（ボリューム）の見た目を、リアルに、かつ速く描くことが大きな問題でした。特に、光がこれらのボリュームの中を散乱したり吸収されたりする複雑な現象を、物理法則に基づいて正確にシミュレーションしようとすると、以下の課題がありました。

1. メモリの消費がとんでもない: 従来の「ボクセルグリッド」という方法は、立体空間を小さな箱（ボクセル）で埋め尽くすイメージです。リアルな見た目を出すには、この箱をものすごくたくさん細かくしないといけないので、メモリをものすごく消費します。数ギガバイト（GB）とか平気で使ってしまうので、これでは大きなシーンやリアルタイムでの利用は難しいです。
2. 計算が遅い、またはノイズが多い: 光がボリュームの中をどれくらい透過するか（透過率）を計算したり、どこで光がぶつかるか（散乱イベント）をサンプリングしたりするのに、従来のボクセルグリッドだと「確率的な計算（モンテカルロ法）」を使うしかありませんでした。
   • この確率的な計算は、たくさんの光の経路（パス）をシミュレーションする必要があり、結果的にレンダリングが非常に遅くなりがちです。
   • 速くしようとすると、光の経路の数を減らすことになり、画像に**「ノイズ（ザラザラした点々）」**がたくさん出てしまいます。
   • また、特に「硬い表面」と「ふわふわボリューム」が混在するシーン（例えば、雲の中に飛行機がある、とか）だと、物理法則に基づいた正確な計算が難しく、見た目が不自然になりがちでした。
3. 「固いもの」と「ふわふわしたもの」を一緒に扱いにくい: 一般的に、コンピュータグラフィックスでは、テーブルや椅子のような「固い表面を持つ物体」と、雲や煙のような「ボリューム」は、それぞれ別の方法で扱われます。このため、これらが混在する複雑なシーンを統一的に、しかも効率的に表現・レンダリングすることが難しいという問題がありました。

最近注目されている「3D Gaussian Splatting (3DGS)」という技術はとても速いのですが、これは「ふわふわボリューム」の見た目を写真から再現するのに特化しており、光の物理的な振る舞い（例えば、雲の中で光が散乱して影ができる様子など）を正確にシミュレーションしたり、複雑なカメラで撮影したかのようにレンダリングしたりすることは苦手でした。

この研究が提案した「解決策」は何ですか？

この研究は、これらの問題を解決するために、**「光線を追跡できる（レイトレーシングできる）新しいタイプのふわふわボリュームの部品（ボリューメトリックプリミティブ）を使う」**という方法を提案しました。

具体的には、以下の3つの主要なアイデアで解決しました。

1. 「ガウス関数」や「エパネチニコフカーネル」という数学的な関数でボリュームを表現する:

   • 従来の「小さな箱（ボクセル）」の代わりに、「ガウス関数」や「エパネチニコフカーネル」という、数学的に滑らかな形をした「ふわふわな球や楕円体（プリミティブ）」をたくさん配置して、ボリュームの密度を表します。まるで、たくさんの「ぼんやりした雲の粒」を並べて、大きな雲を作るようなイメージです。
   • これにより、従来のボクセルグリッドよりもはるかに少ない情報（メモリ）で、複雑なボリュームを表現できるようになりました。
   • ガウス関数は広く使われますが、この研究では「エパネチニコフカーネル」という、よりコンパクトでシャープなエッジを表現しやすい別の関数も提案しています。

2. 光線の透過率などを「きっちり計算できる」ようにした:

   • この「ふわふわな球や楕円体」の形が数学的に定義されているおかげで、光がそのプリミティブの中をどれくらい透過するか、どこで散乱イベントが起こるか、といったことを**「確率的な計算に頼らず、きっちりとした数式（閉形式解）で一発で計算できる」**ようにしました。
   • これにより、従来の確率的な方法で発生していた**「ノイズ」がゼロ**になり、しかも計算速度も上がりました。まるで、曖昧な予測ではなく、正確な計算機で答えを出すようなものです。
   • この「きっちり計算できる」能力は、リアルな影やグローバルイルミネーション（間接光）をシミュレーションする「パス・トレーシング」という技術に、直接組み込むことができます。

3. 「レイトレーシング」で効率的に光の経路を追跡する:

   • 光線がシーンに入ってきたら、その光線がどの「ふわふわな球や楕円体」とぶつかるかを、「レイトレーシング」という技術で効率的に見つけ出します。
   • 光線とぶつかるプリミティブが見つかったら、その光線がプリミティブを通過する「セグメント（区間）」に分割し、そのセグメントごとに、前述の「きっちり計算」を行います。
   • この追跡方法のおかげで、光の経路が厳密に順序付けられ、見た目の不自然さ（オーダーリングアーティファクト）もなくなりました。
   • また、このシステムは、**「写真から立体を復元する（ラディアンスフィールド最適化）」や、「複雑なカメラで撮影する」**といった応用にも柔軟に対応できます。

どんなメリットがありましたか？

この解決策のおかげで、以下のようなメリットが生まれました。

• 劇的なメモリ削減: 従来のボクセルグリッドに比べて、数十倍から数百倍もメモリを節約できるようになりました。
• 高速かつノイズレスなレンダリング: 透過率計算のノイズがゼロになり、サンプリングあたりのコストも低いため、より速く、よりきれいな画像をレンダリングできるようになりました。
• 物理法則に基づいたリアルな表現: 光の散乱や吸収といった物理現象を、より正確にシミュレートできるようになり、リアルな影や光の表現が可能になりました。
• 汎用性と拡張性: 「固い表面」と「ふわふわボリューム」を統一的に扱える基盤ができたため、将来的には**「雲の中に飛行機が飛んでいて、その表面に光が当たって反射し、雲の中を散乱光が満たしている」**ような、複雑なシーンもより自然に描けるようになる可能性があります。また、より複雑なカメラモデル（例：360度カメラ）にも柔軟に対応できます。

要するに、この研究は、**「ふわふわした立体を、少量のメモリで、物理法則に忠実に、しかも高速かつノイズなく描くための新しい基盤」**を提供した、ということです。

Q:この論文の概要を教えてください

A:

本論文は、散乱および放射媒体のモデリングとレンダリングのための、コンパクトで効率的な新しいボリューメトリック表現を提案しています。既存のボクセルグリッドベースの手法がメモリ消費量と細かいディテールの表現でスケールしない問題、また最近のニューラルラディアンスフィールド（NeRF）や3D Gaussian Splatting (3DGS)が物理ベースのレンダリングにそのまま適用できないという課題に対応します。

本研究は、放射場をモデル化するために3Dガウスの混合を利用する最近のシーン再構成手法に触発され、放射伝達理論（RTT）の枠組み内で、カーネルベースの単純なボリューメトリックプリミティブの混合を用いて散乱および放射媒体を定式化し、一般化します。提案手法の核心は、透過率と自由飛行距離サンプリングに対する閉形式の解を導入した点にあり、これによりモンテカルロ法に起因する分散を低減し、既存のレイトレーシングベースのボリューメトリックパス・トレーサーに効率的に組み込むことが可能となります。

核心的な手法:
媒体の光学特性、特に消滅係数$\mu_t(\mathbf{x})$は、N個のボリューメトリックプリミティブ$P_i$の混合としてモデル化されます。各プリミティブ$P_i$は、中心$\mathbf{c}_i$と共分散行列$\Sigma_i$で定義される3次元カーネル$K_i(\mathbf{x})$によってその密度分布が与えられ、対応する断面積$\sigma_i$を持ちます。
$$ \mu_t(\mathbf{x}) = \sum_{i=1}^{N} \sigma_i K_i(\mathbf{x}) $$
レイに沿った光輸送を解決するため、レイはプリミティブの境界（進入点および退出点）に基づいて複数のセグメント$\mathcal{S}_k = [b_{t_{k,0}}, b_{t_{k,1}}]$に分割されます。各セグメント内での透過率$T(\mathbf{x}_{b_{t_{k,0}}}, \mathbf{x}_t)$は、そのセグメントと重なる全てのプリミティブ$P_i$の光学深度$\tau_i$の積によって解析的に計算されます。
$$ T(\mathbf{x}_{b_{t_{k,0}}}, \mathbf{x}_t) = \exp \left( -\sum_{i \in \mathcal{S}_k} \tau_i (\mathbf{x}_{b_{t_{k,0}}}, \mathbf{x}_{\min(t, b_{t_{k,1}})}) \right) $$

ここで、$\tau_i(\mathbf{x}_a, \mathbf{x}_b)$はプリミティブ$P_i$の光学深度であり、カーネル関数$K_i(\mathbf{x}_{t'})$の積分として定義されます。
$$ \tau_i(\mathbf{x}_a, \mathbf{x}_b) = \sigma_i \int_{\max(a, t_{i,0})}^{\min(b, t_{i,1})} K_i(\mathbf{x}_{t'}) d t' $$
この積分は、選択されたカーネル（特にガウスカーネル）に対して閉形式で計算できます。

カーネルの種類:

1. ガウスカーネル (Gaussian Kernel):
   正規化されたガウスカーネル$g_i(\mathbf{x})$は次のように定義されます。
   $$ g_i(\mathbf{x}) = \frac{1}{(2\pi)^{3/2} (|\Sigma_i|)^{1/2}} e^{-\frac{1}{2} (\mathbf{x}-\mathbf{c}_i)^T \Sigma_i^{-1} (\mathbf{x}-\mathbf{c}_i)} $$
   ガウスカーネルの透過率は誤差関数$\text{erf}(\cdot)$を用いて閉形式で得られます。単一のガウスプリミティブからの自由飛行距離サンプリングは、逆誤差関数$\text{erf}^{-1}(\cdot)$を用いて閉形式で実行できます。複数のガウスカーネルが重なるセグメントでは、ニュートン・ラプソン法や二分法のような数値的な求根法が使用されます。

2. Epanechnikovカーネル (Epanechnikov Kernel):
   3D Epanechnikovカーネル$E_i(\mathbf{x})$は有限なサポートを持ち、次のように定義されます。
   $$ E_i(\mathbf{x}) = \begin{cases} \frac{15}{8\pi} (\frac{7}{3} |\Sigma_i| )^{1/2} [1 - \frac{1}{7} d(\mathbf{x})] & \text{if } d(\mathbf{x}) \le 1 \ 0 & \text{otherwise} \end{cases} $$
   ここで、$d(\mathbf{x}) = (\mathbf{x} - \mathbf{c}_i)^T \Sigma_i^{-1} (\mathbf{x} - \mathbf{c}_i)$です。Epanechnikovカーネルの透過率も閉形式で得られます。単一のEpanechnikovカーネルに対する距離サンプリングは解析解が存在するものの、複雑なため、ガウスカーネルの場合と同様に数値的な求根法が一般に用いられます。

実装と応用:
本手法は、NVIDIA OptiXを用いたハードウェアアクセラレーションされたレイトレーシングを利用して、レイとプリミティブの交差を効率的に検出します。プリミティブの境界は楕円体シェルで囲まれ、レンダリング時には三角形メッシュによる近似シェルを使用することで、ハードウェアによるレイトライアングル交差テストの恩恵を受けます。
本論文では、以下のアプリケーションにおいてその有効性を示しています。

1. 順方向レンダリング: 散乱媒体の従来の順方向レンダリングにおいて、ボクセルグリッドベースの手法よりも優れたパフォーマンスとメモリ効率を達成します。解析的な透過率推定は、モンテカルロベースの推定器と比較して、単一サンプルあたりでさえゼロ分散と低いコストを実現します。
2. 物理ベースの逆レンダリング: 媒体の光学特性を観測から再構築する逆問題に対して、微分可能なボリューメトリックプリミティブパス・トレーサー（VPPT）と随伴導関数を導入します。逆トモグラフィー（純粋な吸収媒体）と逆散乱（散乱媒体）の両方の再構築に成功しています。
3. ラディアンスフィールドの最適化とレンダリング: 捕捉された画像からシーンのビュー依存の外観を再構築するために、簡易化されたボリューメトリックプリミティブ・ラディアンスフィールド（VPRF）インテグレーターを適用します。これにより、3DGSのような競合するカーネルベースのラディアンスフィールドソリューションの能力を拡張し、複雑なカメラモデルをサポートします。

3DGSとの比較:
3DGSと比較して、本手法はレイトレーシングに基づくため、プリミティブの正確な順序付けが可能であり、3DGSで観察されるソート順序のアーティファクトを回避します。また、複雑なカメラモデル、グローバルイルミネーション、ソフトシャドウなど、物理ベースのレンダリング機能への将来的な拡張が容易です。

カーネルの比較:
ガウスカーネルは連続的なサポートを持つため滑らかなデータ表現に適していますが、Epanechnikovカーネルは有限サポートを持つため、よりコンパクトなプリミティブとなり、加速構造の効率とレンダリング速度が向上します。Epanechnikovカーネルは、鋭いエッジや高周波なディテールのモデリングにおいて、ガウスカーネルよりも優れた結果を示す傾向があります。

本研究は、3Dカーネルに基づくボリューメトリックプリミティブを用いて、散乱媒体および放射媒体をモデル化およびレンダリングするための汎用的なフレームワークを提示し、その柔軟性と効率性を実証しています。

Q:提案手法の処理の流れを順序だてて説明してください

A:

本論文で提案されている手法の処理の流れは、主に以下のステップで構成されます。これらのステップは、フォワードレンダリング（画像を生成する）とインバースレンダリング（シーンパラメータを最適化する）の両方で活用されます。

提案手法の処理フロー

1. シーンの表現 (Modeling the Scene)

   • まず、散乱媒質や発光媒質といったボリュームを、3次元カーネル（例: ガウスカーネル、Epanechnikovカーネル）に基づいたボリュームプリミティブの集合として表現します。
   • 各プリミティブ $P_i$ は、空間的な物質の分布（密度 $\rho_i(\mathbf{x})$）を統計的に表し、固有の光学特性（断面積 $\sigma_i$、放出 $Q_i(\omega)$、位相関数 $f_{p,i}(\omega' \to \omega)$）を持ちます。
   • 媒質の消散係数 $\mu_t(\mathbf{x})$ は、これらのプリミティブの断面積とカーネル関数の積の総和として定義されます:
     $$
     \mu_t(\mathbf{x}) = \sum_{i=1}^{N} \sigma_i K_i(\mathbf{x})
     $$
     ここで $N$ は該当するプリミティブの数、$K_i(\mathbf{x})$ はカーネル関数です。

2. 光線とプリミティブの交差判定とセグメント分割 (Ray-Primitive Intersection and Segmentation)

   • カメラから発せられる光線がシーンに入ると、まずハードウェアアクセラレーションされたRay Tracing (OptiX上のBVHなど) を用いて、光線が交差するすべてのボリュームプリミティブのバウンディングボックス（またはシェル）を効率的に特定します。
   • これらの交差点（プリミティブの進入点と退出点）に基づいて、光線は一連の順序付けられたセグメント $S_k = [b_{t_{k,0}}, b_{t_{k,1}}]$ に分割されます。各セグメントには、0個、1個、または複数のプリミティブが重なり合って存在します（図2参照）。
     

3. セグメントごとの透過率計算と自由飛行距離サンプリング (Transmittance and Free-Flight Sampling per Segment)

   • 各セグメント $S_k$ において、光線の透過率 $T(\mathbf{x}_{b_{t_{k,0}}}, \mathbf{x}_t)$ は、そのセグメントに重なるすべてのプリミティブの光学深度 $\tau_i(\mathbf{x}_a, \mathbf{x}_b)$ を積算することで、解析的に（closed-form solutionで）計算されます。これはBeer-Lambertの法則に従い指数関数的に減衰します。
     $$
     T(\mathbf{x}_{b_{t_{k,0}}}, \mathbf{x}_t) = \exp \left( -\sum_{i \in S_k} \tau_[i(\mathbf{x}_{b_{t_{k,0}}}, \mathbf{x}_{\min(t, b_{t_{k,1}})}) \right)
     $$
     ここで、ガウスカーネルとEpanechnikovカーネルについては、論文中で具体的な解析的表現が導出されています。
   • フォワードレンダリングでは、光線に沿った自由飛行距離（媒質中で散乱が起こるまでの距離）のサンプリングも行われます。これは、確率密度関数 $p(t) = \mu_t(\mathbf{x}_t)T(\mathbf{x}_0, \mathbf{x}_t)$ に比例するように距離 $t$ をサンプリングするものです。単一のプリミティブに対しては解析的に、複数のプリミティブが重なる複雑なケースでは、Newton-Raphson法や二分法といった数値的なルート探索手法（または近似としての均一サンプリング）が用いられます。

4. 光輸送の積分 (Light Transport Integration)

   • 前述のセグメント分割と解析的な透過率計算を利用し、光線に沿ったラディアンス $L(\mathbf{x}_0, \omega)$ を前方向から後方向（front-to-back）に統合します。
     $$
     L(\mathbf{x}_0, \omega) = \sum_{k=1}^{M} T^{k-1}(\mathbf{x}_0, \mathbf{x}_t) L_k(\mathbf{x}_{b_{t_{k,0}}}, \omega)
     $$
     ここで $L_k$ はセグメント $S_k$ からの放射ラディアンスです。
   • アプリケーションに応じて、2種類のインテグレータ（モンテカルロ法に基づく光輸送シミュレーションを行う VPPT (Volumetric-Primitives Path Tracer) と、簡易化されたラディアンスフィールドのレンダリングを行う **VPRF (Volumetric-Primitives Radiance Field) **）が使用されます。
   • VPPTでは、Multiple Scatteringを含む物理ベースのレンダリングのために、Next-Event Estimation (NEE) を用いてセグメント内で散乱イベントをサンプリングし、再帰的にパスを追跡します。VPRFでは、カメラからの一次光線のみを考慮し、セグメント内の球面調和関数に基づく放出を累積します。

5. インバースレンダリングと最適化 (Inverse Rendering and Optimization)

   • シーンの光学特性（プリミティブの位置、スケール、回転、断面積、球面調和関数係数など）を画像から推定するインバース問題に対しては、提案手法のフォワードパスのアジョイント（Adjoint）導関数を開発し、勾配ベースの最適化に利用します。
   • 最適化アルゴリズムには、Bound Adamのような、パラメータの境界を尊重するAdam optimizerの改良版が使用されます。
   • 損失関数は、L1誤差、D-SSIMに加えて、異方性や小さなプリミティブの密度を制御する正則化項を含みます。
   • 最適化プロセスは、通常、少数のプリミティブから開始し、徐々に新しいプリミティブを生成して詳細を追加していく戦略をとります。

まとめ

このフローの中心は、ボリュームをカーネルベースのプリミティブ集合として表現し、Ray Tracingと組み合わせることで、光線と媒質の相互作用（透過率計算や距離サンプリング）を解析的または効率的な数値手法で処理する点にあります。これにより、従来のボクセルグリッド表現と比較して、メモリ効率が高く、レンダリング速度も向上し、物理ベースのレンダリングやインバースレンダリング、ラディアンスフィールドの最適化など、幅広いアプリケーションで利用できる柔軟なフレームワークを実現しています。

Q:関連手法との比較について詳しく説明してください

A:

本論文で提案されている手法は、既存の様々なボリュームレンダリングおよびシーン表現手法と比較して、いくつかの顕著な優位性を持っています。主に以下のカテゴリーで比較が行われています。

1. 従来のボクセルグリッド表現 (Voxel Grids) との比較

• 課題: 従来のボクセルグリッド（OpenVDBのような階層型も含む）は柔軟で $O(1)$ のクエリ時間を持つ一方で、メモリ消費量が非常に大きく、特に細かいディテールや疎な構造を表現する際にスケーラビリティに課題があります。透過率の効率的な計算には、確率的なトラッキング手法（Delta Tracking, Residual Ratio Trackingなど）が必要であり、これによりレンダリング時に追加のノイズ（分散）が発生します。また、これらのトラッキング手法は性能向上のために最大密度（majorant）のタイトな見積もりを必要とします。
• 提案手法の優位性:
  • メモリ効率: 提案手法のカーネルベースのプリミティブ表現は、ボクセルグリッドに比べて非常にコンパクトです。例えば、図1では$1024^3$のボクセルグリッド（4GB）に対し、本手法では5.6k個のガウス（224KB）で同等のクラウドを表現し、大幅なメモリ圧縮を実現しています。これはメモリ帯域幅がボトルネックとなるプロダクション環境や、メモリ制約のある環境で大きな利点となります (図4, 図7, 表2)。
  • 透過率の精度と効率: 本手法では、光線に沿った透過率を閉形式（closed-form solution）で解析的に計算できるため、確率的なトラッキング手法で生じる分散を排除できます（図6）。これにより、1サンプル/ピクセルでもノイズのない透過率推定が可能です。また、サンプリングあたりのコストも競合するモンテカルロベースの推定器よりも低いです。
  • レンダリング速度: 解析的な透過率推定と効率的なサンプリング、コンパクトな表現により、従来のグリッドベース手法と比較して大幅な速度向上が見られます (図1, 図6)。
  • スケーラビリティとLoD: プリミティブの数を調整することで、品質とパフォーマンスのトレードオフを容易に行え、Level-of-Detail (LoD) アプリケーションにも非常に適しています (図7)。

2. ニューラルラディアンスフィールド (NeRF) および関連手法との比較

• 課題: NeRF [Mildenhall et al. 2020] や Mip-NeRF 360 [Barron et al. 2022] などのImplicit Neural Modelsは高い圧縮率を誇る一方で、MLPの評価が高価であるため、トレーニングとレンダリングに時間がかかります。Plenoxels [Fridovich-Keil et al. 2022] や Instant-NGP [Müller et al. 2022] などのExplicit Voxel-Based / Hash Grid表現は高速化されていますが、依然としてある程度の計算コストがかかります。また、これらの手法は、画像形成モデルに速度と最適化の容易さを優先した簡略化を導入しているため、物理ベースのレンダラーでの使用には不向きです（例: 散乱、再照明、複雑なカメラモデルへの対応が難しい）。
• 提案手法の優位性:
  • 物理ベースのレンダリングへの統合: 提案手法は、**輻射伝達理論（Radiative Transfer Theory, RTE）**に基づいて構築されており、散乱や発光を含む物理ベースのレンダリングエンジンに直接統合できます。これにより、再照明、グローバルイルミネーション、ソフトシャドウなど、パス・トレーシングが持つ多くの機能に容易に拡張可能です (ページ2, 議論セクション)。
  • レンダリング速度: 他のレイ・トレーシングベースのラディアンスフィールドソリューション（例: Instant-NGP）と比較して、より高速なレンダリング速度を実現しています（表1, 表2）。特にEpanechnikovカーネルはガウスカーネルよりも高速であることが示されています。
  • 柔軟性と制御性: 複雑なカメラモデル（例: 360度カメラ、テレセントリックカメラ）を自然にサポートします（図9, 図14）。また、最大プリミティブ深度を制限することで、品質とパフォーマンスのトレードオフを効率的に制御できます（図13）。
  • 汎用性: ラディアンスフィールドの最適化・レンダリングだけでなく、純粋な散乱媒質や吸収媒質の物理ベースのフォワード/インバースレンダリングにも適用可能です。

3. 3D Gaussian Splatting (3DGS) [Kerbl et al. 2023] との比較

• 課題: 3DGSはガウスに基づいたExplicitな表現を用い、ラスタライゼーションパイプラインで非常に高速なレンダリングと高品質な再構築を実現しています。しかし、各プリミティブがカメラに向かってbillboardとして「スプラット」され、光線に沿った密度がデルタ関数の総和として近似されるため、物理的な体積密度を正確に統合しているわけではありません。この近似は、ビュー依存のプリミティブ順序付けの問題を引き起こし、ポップアップアーティファクトが発生する可能性があります (図15)。また、基本的なラスタライゼーションフレームワークであるため、複雑なカメラモデルや物理ベースの光輸送（散乱、グローバルイルミネーションなど）への拡張が困難です。
• 提案手法の優位性:
  • 物理ベースの画像形成モデル: 提案手法は、3DGSと同様にガウスカーネルを使用しますが、プリミティブの3次元的な体積密度を保持し、物理的な光輸送プロセスに従って積分します。これにより、相反性（reciprocity）が維持され、より物理的に正確なレンダリングが可能です。
  • 正確な順序付け: レイ・トレーシングの性質上、光線とプリミティブの交差順序が正確に考慮されるため、3DGSで観察されるようなビュー依存のプリミティブ順序付けアーティファクト（図15）が発生しません。
  • 汎用性と拡張性: RTEに基づいているため、散乱媒質、再照明、複雑なカメラモデル、グローバルイルミネーション、ソフトシャドウなど、3DGSでは直接サポートされていない多くの機能に自然に拡張できます。
  • カーネルの選択: 論文ではガウスカーネルだけでなく、限定的なサポートを持つEpanechnikovカーネルも導入しています。Epanechnikovカーネルは、よりコンパクトなプリミティブシェルを生成するため、より効率的なアクセラレーション構造と高速なレンダリングを可能にし、特にシャープなエッジのモデリングに適しています (図16, 図17)。

4. 物理ベースレンダリングにおける既存のガウスベース手法との比較

• Knoll et al. [2021]: ガウス混合モデルを用いて発光・吸収媒質をモデル化していますが、透過率の閉形式解を利用せず、確率的なトラッキングによる積分を必要とします。また、散乱媒質を表現できません。
• Jakob et al. [2011]: 3D異方性ガウス混合モデルを光（ラディアンス）の分布にフィッティングし、フォトンベースの手法を高速化しています。本手法と閉形式積分を共有する点がありますが、彼らの目的はラディアンス推定であり、物質（密度）のモデリングではありません。
• 提案手法の優位性: 透過率とサンプリングの閉形式解を提供し、さらに散乱媒質、異方性カーネル、効率的なインバースレンダリングをサポートするように拡張しています。

まとめ

本論文の提案手法は、既存の様々な手法の利点を統合しつつ、その欠点を克服しようとするものです。特に、コンパクトなカーネルベースの表現と物理ベースのレイ・トレーシングフレームワークを組み合わせることで、メモリ効率、レンダリング速度、物理的正確性、および多様なレンダリングアプリケーションへの汎用性において、顕著な進歩を示しています。3DGSと比較すると、絶対的なレンダリング速度では劣るかもしれませんが、物理ベースの挙動や複雑なカメラモデルへの対応など、多くの点で優位性があり、将来の発展の可能性を大きく広げています。

Q:提案手法の限界と今後の課題はなんですか？

A:

1. 物理モデルの一般化と表現力

• 現状の限界: 現在のフレームワークは、主に等方性（isotropic）な散乱媒質を扱っており、波長依存性や屈折（refractive）媒質については単純化されています。また、空間的に相関のある媒質（spatially correlated media）や、固い表面を持つシーンの体積ベース表現への対応は未検討です。
• 今後の課題:
  • 異方性・相関のある媒質への拡張: 放射伝達フレームワークを異方性散乱媒質や、Bitterli et al. [2018] や Jarabo et al. [2018] の研究のように空間的に相関のある媒質に一般化することが挙げられます。これにより、より幅広い自然現象（例: 布や髪の毛の複雑な外観）を正確にモデル化できるようになります。
  • 固い表面を持つシーンの表現: ボリュームベースの表現で固い表面を持つシーンを表現する方法を探求することは、モデルの汎用性をさらに高めるでしょう。これは、サーフェスとボリュームを統一的に扱える一般的な表現の構築という、コンピュータグラフィックスにおける長年の課題にもつながります。
  • より複雑なカーネルの導入: 現在はガウスカーネルとEpanechnikovカーネルに焦点を当てていますが、将来的にはより柔軟な表現力を持つパラメトリックカーネルの導入が考えられます。これにより、1つのプリミティブあたりの表現能力を高め、必要なプリミティブの総数を削減できる可能性があります。

2. インバース最適化パイプラインのロバスト性と効率性

• 現状の限界: 提案されているインバースレンダリングパイプラインは概念実証の段階であり、より複雑な体積媒質（例: 密度以外の光学特性も空間的に変化する媒質）の最適化には、さらなる検討が必要です。現状では、初期化、損失関数、最適化戦略に関して、より徹底的な分析が求められます。特に、現在のパイプラインでは、JITコンパイルが各イテレーションで再実行されるため、トレーニング時間が比較的長くなるという技術的な制約があります。
• 今後の課題:
  • 堅牢な最適化戦略の構築: 複雑な体積媒質に対する初期化、多様な損失関数、および最適化戦略に関する詳細な研究が必要です。特に、光輸送理論がより複雑になるにつれて、これらの要素の重要性が増します。
  • JITコンパイルの効率化: Dr.JitのようなJITコンパイラにおいて、コンパイルされたコードをイテレーション間で再利用できるように改善することで、トレーニング時間を大幅に短縮できる可能性があります。これは技術的な問題であり、将来的に解決されることが期待されます。
  • 多種多様な光学特性の最適化: 現在は主に密度のみの不均一性に焦点を当てていますが、将来的に散乱アルベド、位相関数、発光特性など、より多くの光学特性を同時に最適化できるようになることが望まれます。

3. レンダリング品質とパフォーマンスの向上

• 現状の限界: 絶対的なレンダリング品質という点では、ラディアンスフィールドのアプリケーションにおいて、現在の最先端である3DGS（Gaussian Splatting）と比較して若干劣る部分があります（ただし、他のレイ・トレーシングベースのソリューションとは同等かそれ以上）。また、レンダリング性能はプリミティブの数とオーバーラップの量に大きく依存し、大きなオーバーラップがあるとBVHトラバーサルのボトルネックが生じることがあります。ガウスカーネルのような無限サポートを持つカーネルは、サポートをクリッピングしないとすべてのプリミティブを評価する必要があり、効率性が低下します。
• 今後の課題:
  • ラディアンスフィールドの品質向上: 最適化パイプライン（初期化、プルーニング、クローニング戦略、ハイパーパラメータなど）をさらに洗練させることで、3DGSに匹敵する、あるいはそれを超える品質を達成できる可能性があります。
  • LoD表現の探求: ボクセルグリッドベースのアプローチ [Loubet and Neyret 2017; Vicini et al. 2021a] と比較して、プリミティブベースのメディアが複雑な外観のレベル・オブ・ディテール（LoD）にどのように活用できるかを探求することは、有望な研究方向です。
  • カーネル選択の最適化と適応: 特定のアプリケーションやシーンの特性に応じて最適なカーネルを自動的に選択したり、異なるカーネルをハイブリッドに利用したりする戦略を開発することが考えられます。
  • BVH構築とトラバーサルの効率化: プリミティブのサポート領域が大きくオーバーラップする場合のBVH性能ボトルネックを解消するための、より効率的なアクセラレーション構造やトラバーサル戦略の開発が重要です。例えば、メッシュベースのシェル（図12）が性能向上に寄与することが示されているため、この方向性のさらなる探求が考えられます。

まとめ

提案手法は、物理ベースのボリュームレンダリングとラディアンスフィールドの分野に新たな道を開きましたが、物理モデルの表現力、インバース最適化の堅牢性、レンダリング品質と効率性において、さらなる探求の余地を残しています。これらの課題に取り組むことで、本フレームワークはさらに多くの複雑なシーンやアプリケーションに対応できるようになり、リアルタイムのパス・トレーシングや物理ベースのレンダリングにおいて、メディアプロダクション環境で大きな影響を与える可能性を秘めていると言えるでしょう。