1. 概要

複数の異なる光源を用いて撮影した画像群を用いて、物体の表面の方向(法線)を予測する技術のことをフォトメトリックステレオと呼ぶ。一般的に、対象物に対して異なる方向から光を当てながら複数の画像を撮影し、各ピクセルの輝度値を計測して輝度値の変化パターンを分析し表面法線を推定していくため、非接触な計測が可能である。
従来手法では、異なる照明条件下で複数のハイダイナミックレンジ画像(HDR)を撮影する必要があったため速度が制限されリアルタイムアプリケーションへの適用が困難だった。

この研究では、イベントカメラを用いた新しいリアルタイムフォトメトリックステレオ手法であるEventPSを提案している。イベントカメラが時間分解能が高く、ダイナミックレンジや低帯域幅があるという特性を生かし、提案手法では放射輝度の変化のみから表面法線を推定することで、データ効率を大幅に向上させている。

*Honorable Mention Award

2. 新規性

イベントカメラを用いたフォトメトリックステレオ技術：
従来のフレームベースのカメラではなく、イベントカメラを用いた形状復元技術を提案している
放射輝度変化に基づく表面法線推定：
放射輝度の変化情報のみを用いて表面法線を求めている
最適化手法と深層学習手法の統合：
様々な反射特性やシーン条件に対応可能な手法を提案している

3. 実現方法

上図が提案手法であるイベントカメラベースの手法を示しており、下図が従来手法であるフレームベースカメラの手法を示している。

連続的に回転する光源(a)によって変化する光線を、イベントカメラを用いて撮影しシーンの放射輝度変化を取得する。(1800 RPM Lightning)
取得したイベントデータに対して最適化ベースの手法と深層学習ベースの手法を用いて表面法線を推定する。イベントカメラの持つ、低遅延性・ハイダイナミックレンジ・データ表現の冗長性の低さなどの特徴により、高速かつ効率的なリアルタイム処理(c, d)を可能にしている。(30FPS)
必要に応じてふくすうのフレームからの情報を統合したり、推定された表面法線を修正したりすることでより高精細な形状復元を実現する。住アリのフレームベースの手法に匹敵する性能を維持しながら帯域幅の使用量を大幅に削減できる。

表面法線の推定には深層学習が用いられている。まず、一定時間ごとのイベントを合計してベクトル空間に変換する。次に、各時間のベクトル情報を合成して全体のマップを生成する。ここで、PS-FCN(Photometric Stereo Fully Convolutional Network)を用いて、合成したベクトルマップを入力として各ピクセルの表面法線を予測していく。従来のPS-FCNはシーン全体の画像を入力としていた。最後に、観測されたベクトルマップの特徴を学習させて、各ピクセルの表面法線を推定する。

4. 結果

高速レンダリングを実現しており、30fps以上で高速動作することを確認している。また、従来のフレームベースの手法と比較して様々なシーンに対してより高精度な表面法線推定を実現した。放射輝度変化のみを使っているため、従来手法よりも少ないデータ量で高品質な形状復元を可能にしている。

Paper URL: https://openaccess.thecvf.com/content/CVPR2024/papers/Yu_EventPS_Real-Time_Photometric_Stereo_Using_an_Event_Camera_CVPR_2024_paper.pdf

last updates: June. 19 2024