1. 概要
光の影やライティング効果をコンピュータグラフィックスで計算しようとすると物理モデルベースのレンダラーや3Dのジオメトリ(幾何構造)情報が必要になる。これを2D画像だけで解こうとすると、圧倒的に3Dのジオメトリ情報が不足しているため、近年の手法では各ピクセルに対してDNN(Deep Neural Network)で高さ情報を予測し、ソフトな影や反射の生成に成功している。しかし、従来研究では表現できる影や反射が大きく制限されていた。
2. 新規性
ピクセル単位で高さを予測するだけではなく、3D空間にマッピングすることで前景背景がうまく再構築でき、より写実的で多様なライティング効果を得られるようになった。
3. 実現方法
前景物体と背景画像を入力として、
- 各ピクセルの高さを予測する
- ピクセルの高さの特徴量をもとに、2.5次元の空間を構築する
- 2.5次元のシーンに対してライティングや影などの効果をレンダリングする
4. 結果
GUIを提供しており、前景と背景の画像からリアルな影やライティング効果をレンダリングできる。左図は背景に前景を張り付けただけのもの、右図を周囲のコンテキストを反映して前景物体に影やライティング効果を付与したもの。
last updates: July 6 2023