PSEUDO-LIDAR++:ACCURATE DEPTH FOR 3D OBJECT DETECTION IN AUTONOMOUS DRIVING

Depth Cost Volume

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/02e99c18-2398-b6d9-4179-9357662859f0.png) Disparity Cost VolumeをDepth Cost Volumeに変換する。DisparityのCost Volumeに3D CNNを掛けると同じFilterでDisparity(1/Depth)をSmoothingするので、Disparityの小さい(遠い)物体が余計にSmoothingされてしまう事が指摘されてました。depth = f * b / dispの座標変換をしてから3D CNNでを掛けると精度が上がるというのに衝撃を覚えました！ ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/2a009bc8-6510-a09f-78c9-5f5c56291509.png)

Depth Correlation

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/913d82c9-6dbd-c7e1-5e1f-ea3fac2b14ce.png) LiDARのPointを使ってStereo Depthで得たDepthマップのオフセットを修正します。

結果

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/4833189d-4cc6-fffd-ec9a-ad9f6218092c.png) Depth Cost VolumeもDepth Correctionも両方とも精度を上げている！！

結論

・Cost VolumeをDisparityからDepthに変換する事でより意味のあるSmoothingが出来る。・Depth Correlationをする事でDepthのOffsetを4 beamのLiDARで修正する事が出来た。

参考文献

PSEUDO-LIDAR++: ACCURATE DEPTH FOR 3D OBJECT DETECTION IN AUTONOMOUS DRIVING https://arxiv.org/pdf/1906.06310.pdf