背景：レンダリングにおける勾配計算の課題
3Dモデルを2D画像に変換するレンダリングにおいて、その過程の勾配（微分）を計算することは、例えば、レンダリング結果に基づいて3Dモデルを最適化する場合などに不可欠です。しかし、特に表面ベースの表現やラスタライズベースのレンダリングでは、不連続性やレンダリングの近似によって正確な勾配計算が困難でした。
提案手法：マイクロエッジを用いた勾配計算
この論文では、「マイクロエッジ」という新しい概念を導入することで、この問題を解決しています。マイクロエッジを用いると、本来微分不可能な離散ピクセルのラスタライズ画像を、あたかも微分可能な連続プロセスから得られたかのように扱うことができます。
マイクロエッジの利点
-
レンダリングの整合性を保持: 従来の手法では、勾配計算のためにレンダリングの過程を近似する必要がありましたが、マイクロエッジを用いることで、レンダリング画像そのものを変更することなく勾配計算が可能になります。これにより、フィルタリングができないマスク画像、深度画像、法線画像などにも適用できます。
-
不連続性における勾配解釈の簡素化: マイクロエッジは、視界の不連続性における勾配の解釈を簡素化し、幾何学的交差の処理も可能にしています。
-
実装の容易さ、効率性、高性能: 複雑な近似戦略を必要とせず、シンプルで効果的、かつ高速な勾配計算を実現しています。
従来手法との比較
従来の微分可能レンダラーは、レンダリングパイプラインに変更を加えたり、近似を導入したりする必要がありました。これに対し、マイクロエッジを用いた手法は、フォワードパス（画像生成過程）を変更する必要がないため、レンダリング画像の整合性を保つことができます。また、幾何学的交差の処理も容易になります。
応用例：動的に人の頭部のシーン再構成を行う
論文では、動的に人の頭部のシーン再構成タスクにおいて提案手法を適用し、カメラ画像とセグメンテーションマスクを効果的に処理できることを示しています。