Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Driving

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/674774f8-4240-f3bd-24c8-444540ae3d35.png)

Depth MapからPseudo LiDARはただの座標変換で計算できるので、今回はどうやってPseudo LiDARとImageで3D Object Detectionが出来るのかどうか見ていきたい。

新規性

3D Object Detection

LiDARで使われていたModelなら何でも良いらいこの論文で2種類のモデルを試した。・Frustum-PointNet ・AVOD

Frustum-PointNet

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/3746d818-d157-333b-718f-04359cff1f93.png) 2D Object DetectionされたROIのPoint Cloudに対してPointNetを行う事で3次元BBを推定する方法。

AVOD

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/dbb938aa-f28d-5fe6-fe25-6ff3b929d2da.png) Imageと3D Anchor GridとBEVのpoint cloudを入力にして、物体を検出する2Stage Detector 詳細は別の記事書きます。

結果

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/57c5c6bb-325f-d1a0-b748-64018755b953.png) もちろんLiDARを使ったNetworkより精度はかなり落ちるが、改善の余地はある。

Instance Segmentationを行いPoint CloudのFilteringをより正確に
Stereo Depthの精度を高める

StereoDepthがLiDARの精度を超える事は考えにくいが、点密度が高い事が貢献してくれればと思う。

結論

・Stereo Cameraでもそこそこの精度で3次元物体検出は出来る。

参考文献

Pseudo-LiDAR from Visual Depth Estimation:Bridging the Gap in 3D Object Detection for Autonomous Driving https://arxiv.org/pdf/1812.07179.pdf