【Stereo Depth】iResNet : Reconstruction Errorを計算してRefinement

Learning for Disparity Estimation through Feature Constancy

右と左の画像から得た特徴量からCorrelationをしてCost-Volumeを作りInitial Dispaityを求める所までは従来研究と同じ。

新規性

Reconstruction Error

赤のlayerがReconstruction Errorといい、推定したDisparityを使って画像をWarpすることで、逆の画像を推定(Reconstruction)する。Reconstructされた画像の精度をSAD(Sum of Absolute Difference)やSSIM(Structure Similarity)を計算する事で間接的にDisparityのErrorを検出する。

Refined Disparity

Refined Disparity(黄色) = Initial Disparity(緑) + Residual(黒)で定義される。

Errorの差分(Residual)を計算するようにネットワークを構成する事でInitial Disparityを修正して最終的なDisparity Map(Refined Disparity)を得られる。

結論

・Reconstruction Errorを計算してResidual(Disparityの差分)を求めることで、より正確なDisparityを推定することが出来たそうだ。

参考文献

Learning for Disparity Estimation through Feature Constancy https://arxiv.org/pdf/1712.01039.pdf