1. 概要
3次元空間を多数のガウシアン分布で形状表現し、視点に応じたレンダリングを行うことで高品質な3次元画像合成を可能にする技術のことを、3D Gaussian Splattingと呼ぶ。近年、高品質で効率的な3次元画像合成を実現する手法として注目されている。この技術を用いると、複数の視点から撮影した画像から、まるでその場にいるかのようなリアルな3次元シーンを作ることができる。
しかし、カメラのズームや視点の移動などによってサンプリングレート(画像を構成する点の密度)が変わると、画質が劣化してしまう問題があった。この論文では、この問題点の原因が、3次元空間における周波数を考慮していないことと、2次元画像処理における特定のフィルター(膨張フィルターなど)の使用にあることを突き止めた。
提案手法では、新しい3次元平滑化フィルターを導入し、入力画像のサンプリングレートに基づいて3次元形状を表現するガウシアンの形状の大きさを調整し、ズーム時の画質劣化を抑制することに成功した。さらに、膨張フィルターをMipフィルターと呼ばれる別のフィルターに置き換えることで、エイリアシングや輪郭のギザギザ(ジャギー)を効率的に軽減できることを明らかにした。
*1)Mipフィルター：画像を縮小する際に、高周波成分を抑制することでエイリアシングを防ぐフィルター
*2)エイリアシング：画像のサンプリングレートが低すぎる場合に、本来存在しない模様が現れる現象
*BEST STUDENT PAPER AWARD
2. 新規性
- 3次元空間における周波数特性を考慮した平滑化フィルターの導入
- 2次元画像処理におけるMipフィルターの適用による画質改善
複数の視点画像から3次元シーンを表現して、任意視点でシーンを生成できる従来技術として、NeRF(Neural Rendaring Field)が挙げられるが、3D Gaussian Splattingとは重要な違いがある。
| 特徴 | NeRF | 3D Gaussian Splatting |
|---|---|---|
| シーン表現 | 連続関数（MLP | ガウシアンプリミティブの集合 |
| メモリ効率 | 低い（シーン全体を表現する必要がある） | 高い（疎なデータ構造） |
| レンダリング速度 | 低速 | 高速 |
| 画質 | 高い | 高い |
| 編集可能性 | 低い | 高い |
3. 実現方法
- 3次元平滑化フィルターの導入：
入力画像のサンプリングレートに基づいて、3次元ガウシアンの形状の大きさを調整することで、高周波成分によるノイズを除去し、ズームしたときの画質劣化を抑えている。
- 2次元Mipフィルターへの置き換え：
従来の膨張フィルターを2次元ボックスフィルターを模したMiPフィルターに置き換えることで、エイリアシングや輪郭のジャギーを抑制することに成功した。
4. 結果
ズームアウト時に物体形状が太く表現されすぎたり、ズームイン時に物体形状が細く表現されすぎたりすることを避け、画質の品質を均一に維持できている。
従来手法である3DGSでは、サンプリングレートが極端に小さくなったときに、画素の少なさからエイリアシングが発生し物体が大きくなってしまっている。提案手法では、参照画像と比べてもエイリアシングを抑えられていると言える。
提案手法では、単一の解像度の画像で学習したモデルであっても、複数解像度の画像に対して3次元での画質向上の有効性を確認しており、汎用性が高いことを示している。
last updates: June. 17 2024