1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

【Stereo Depth】Dedge-AGMNet : depth edgeを推定して精度向上

Posted at

Dedge-AGMNet:an effective stereo matching network optimized by depth edge auxiliary task

image.png

久しぶりにデファクトスタンダードになりそうなStereo Depthの論文を見つけてしまった。
今まではEdge Detectionを行う論文はいくつか見たが、Depth Edgeを推定する論文は初めて見たと思う(StereoDepthの論文は50本以上読んだ)。

新規性

AGM Moduleは今回は無視して、Depth Edge DetectionとDedge SPPを見ていきたいと思う。

Depth Edge Detection

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/9598f5b1-6d25-5ce1-36a0-af8ed2431205.png) 上の図のFeature Extractionのbranchからそれぞれ畳み込み結合させ、最大値を取った後sigmoidを掛ける。

sigmoidを掛ける事でDepth EdgeのProbabilityを0~1で正規化出来る。

image.png
2値分類問題でおなじみのBinary Cross Entropy Lossを用いる事で学習出来る。

Dedge-SPP

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/e9071cc2-f52f-96b6-24ac-7eed83363fc4.png) 推定したDepth Edgeを[PSMNet](https://qiita.com/minh33/items/b365e2fa66a3164a0177)で使われているSPP Moduleに結合する事でDepth Edgeの特徴量を組み込む事が出来る。

結果

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/4cb3eab0-5284-6410-5263-59767a9637ff.png) Depth Edge Detectionのparameterをshareすることでよりmian BranchのFeature Extractionが一般化され精度が上がったように見える。意外な事にDedge SPPでDepth Edgeの情報を付与しても精度はさほど変わっていない。

結論

・従来のEdge DetectionではInner Edgeを見つけてしまう事や、Semantic Segmentaionだと同じクラスの物体が隣あっている時にEdgeを検出出来ないという問題があった。それを今回のDepth Edgeでは本来の物体の境界線を推定する事が出来た。

image.png
Dege-SPPで精度が上がらなかったらしいのがなんか悔しいので、Depthの推定の前に結合して1 stride Conv2dを何枚か噛ませて、DepthのSmoothingとEdge辺りのDepthの補正が出来そう。

参考文献

Dedge-AGMNet:an effective stereo matching network optimized by depth edge auxiliary task https://ecai2020.eu/papers/225_paper.pdf
1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?