【Stereo Depth】SsSMnet : self-superviseでtraining

Self-Supervised Learning for Stereo Matching with Self-Improving Ability


GC-NetをSelf-SuperviseでTraining出来るようにしたネットワーク。

新規性

Loss

今では一般的な方法ですが、Image warpingをする事で反対の画像をReconstructionして、Errorを計算する手法。

主に3つのLossがある

1. LR Consistency Loss
   =>右と左のDisparityの違いを計算する
2. Reconstruction Loss
   =>Reconstructした画像を入力画像と比べる。評価指標にSADやSSIMが良く使われる
3. Disparity Smoothness Loss
   =>DisparityのSmoothさを計算する。Edgeに対するmaskをするとより良い

結論

・stereo画像を使う事でGround TruthなしでもDisparity(1/depth)のLossを計算する事が出来る。

参考文献

Self-Supervised Learning for Stereo Matching with Self-Improving Ability https://arxiv.org/pdf/1709.00930.pdf