Dedge-AGMNet:an effective stereo matching network optimized by depth edge auxiliary task

久しぶりにデファクトスタンダードになりそうなStereo Depthの論文を見つけてしまった。
今まではEdge Detectionを行う論文はいくつか見たが、Depth Edgeを推定する論文は初めて見たと思う(StereoDepthの論文は50本以上読んだ)。

新規性

AGM Moduleは今回は無視して、Depth Edge DetectionとDedge SPPを見ていきたいと思う。

Depth Edge Detection

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/9598f5b1-6d25-5ce1-36a0-af8ed2431205.png) 上の図のFeature Extractionのbranchからそれぞれ畳み込み結合させ、最大値を取った後sigmoidを掛ける。

sigmoidを掛ける事でDepth EdgeのProbabilityを0~1で正規化出来る。

2値分類問題でおなじみのBinary Cross Entropy Lossを用いる事で学習出来る。

Dedge-SPP

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/e9071cc2-f52f-96b6-24ac-7eed83363fc4.png) 推定したDepth Edgeを[PSMNet](https://qiita.com/minh33/items/b365e2fa66a3164a0177)で使われているSPP Moduleに結合する事でDepth Edgeの特徴量を組み込む事が出来る。

結果

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/4cb3eab0-5284-6410-5263-59767a9637ff.png) Depth Edge Detectionのparameterをshareすることでよりmian BranchのFeature Extractionが一般化され精度が上がったように見える。意外な事にDedge SPPでDepth Edgeの情報を付与しても精度はさほど変わっていない。

結論

・従来のEdge DetectionではInner Edgeを見つけてしまう事や、Semantic Segmentaionだと同じクラスの物体が隣あっている時にEdgeを検出出来ないという問題があった。それを今回のDepth Edgeでは本来の物体の境界線を推定する事が出来た。

Dege-SPPで精度が上がらなかったらしいのがなんか悔しいので、Depthの推定の前に結合して1 stride Conv2dを何枚か噛ませて、DepthのSmoothingとEdge辺りのDepthの補正が出来そう。

参考文献

Dedge-AGMNet:an effective stereo matching network optimized by depth edge auxiliary task https://ecai2020.eu/papers/225_paper.pdf