【StereoDepth】PytorchでLR consistency lossを計算してみる

背景

stereo cameraの特性を活かしDisparityの推定精度を確かめる方法として広く使われているので、実際に動かしてみようと思った。

入力

Disparity推定に使用した左の画像 

左のDisparity

右のDisparity

結果

lr_left_loss 

lr_right_loss

Reconstructionした画像を見てみると、フェンスの所と車の周囲の推定がうまく行っていない所が、Lossとして正確に認識される事がわかる

ソースコード

``` LtoR = self.bilinear_sampler_1d_h(disp_left, disp_right) RtoL = self.bilinear_sampler_1d_h(disp_right, -1 * disp_left) lr_left_loss = torch.mean(torch.abs(RtoL - disp_left)) lr_right_loss = torch.mean(torch.abs(LtoR - disp_right)) lr_loss = lr_left_loss + lr_right_loss ```

参考文献

monodepth https://github.com/mrharicot/monodepth