【Stereo Depth】SegStereo : Semantic Segmentaionもwarpしてlossを計算

SegStereo: Exploiting Semantic Information for Disparity Estimation


今までSemantic SegmentationをDepthの推定に使う事でEdge周辺のDisparityの推定精度をあげる事などが行われてきた。

この論文では右のSemantic Segmentationの推定の結果をDisparityを用いることで左のSemantic Segmentationにwarpする。左のSemantic SegmentationのGround Truthと比較する事でLsegを計算する事が出来る。

この手法のメリットはDisparityのErrorを色の違い(Photometric Loss)以外にもClassの違いを計算出来る事で多様化している事。

結論

・DisparityにSemantic Segmentaionを使う場合には試してみたい

参考文献

SegStereo: Exploiting Semantic Information for Disparity Estimation https://arxiv.org/pdf/1807.11699.pdf