More than 3 years have passed since last update.

【3D OD Stereo】DSGN :

Posted at 2020-12-12

DSGN: Deep Stereo Geometry Network for 3D Object Detection

今まではCost-Volumeを作る時にDisparityを使っていたが、DepthをCost Volumeに使う事にした

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/c8bd704c-c6ba-a14c-11d2-ce25ceb08f50.png)

図を見ると逆に混乱するかもしれないですが、ただCost-Volume(u,v,d)を3次元(x,y,z)に座標変換しただけ。車の形が変形してるので、なんか凄いことをしているのかと最初は困惑しました(T_T)

自分で図を書くと分かりやすいかもです。
*zが上ではなく前になっているのに注意

3DGVで得た3次元位置を使ってFCOSとういモデルを使うそうです。畳み込んで高さ情報をChannelに落とし込み、2次元のBEV(Bird Eye View)でObject Detectionする構成になってます。PointPillarみたいな感じですね。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/9733f5fe-0749-71f4-46fc-fafcc282a288.png) Pseudo LiDAR ++を圧倒してますね！！

・3D Object Detectorのinputに変化したpoint cloudを入力するのでは特徴量を使う事で精度UP? ・Cost-VolumeにDisparityではなくDepthを使う事で、SmoothingのFilterがより良く働く。

DSGN: Deep Stereo Geometry Network for 3D Object Detection https://arxiv.org/pdf/2001.03398.pdf