【3D OD Stereo】Pseudo-LiDAR : StereoDepthでPoint Cloudの生成

Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Driving


Depth MapからPseudo LiDARはただの座標変換で計算できるので、今回はどうやってPseudo LiDARとImageで3D Object Detectionが出来るのかどうか見ていきたい。

新規性

3D Object Detection

LiDARで使われていたModelなら何でも良いらい この論文で2種類のモデルを試した。 ・Frustum-PointNet ・AVOD

Frustum-PointNet

 2D Object DetectionされたROIのPoint Cloudに対してPointNetを行う事で3次元BBを推定する方法。

AVOD

 Imageと3D Anchor GridとBEVのpoint cloudを入力にして、物体を検出する2Stage Detector 詳細は別の記事書きます。

結果

 もちろんLiDARを使ったNetworkより精度はかなり落ちるが、改善の余地はある。

1. Instance Segmentationを行いPoint CloudのFilteringをより正確に
2. Stereo Depthの精度を高める

StereoDepthがLiDARの精度を超える事は考えにくいが、点密度が高い事が貢献してくれればと思う。

結論

・Stereo Cameraでもそこそこの精度で3次元物体検出は出来る。

参考文献

Pseudo-LiDAR from Visual Depth Estimation:Bridging the Gap in 3D Object Detection for Autonomous Driving https://arxiv.org/pdf/1812.07179.pdf