【3D OD LiDAR編】VoxelNet : End-to-Endの3D Object Detection

上の図のように3つのModuleからなる

1. Feature Learning Network => Voxelの特徴を取り出し、3D Feature Mapを作る
2. Convolutional Middle Layers => 3D Feature Mapを2D Feature Mapに落とし込む
3. Region Proposal Network => 2D Feature Mapから3D物体検出

ちなみにend-to-endらしい
詳細を見ていこう!

新規性

Feature Learning Network

1. Voxel Partition => 3次元空間を等間隔でVoxelに区切る 2. Grouping => Voxelの中の点群をグループとする 3. Random Sampling => 全部はいらんから任意の数のPointをランダムで選ぶ 4. Stacked Voxel Feature Encoding => Voxelの特徴量をVoxelの中の点群から抽出する

Random Samplingのメリット

1. 計算コストを抑えられる。 2. voxel間のpoint数の不均衡を減らせる。

Stacked Voxel Feature Encodingの処理概要

 点は3次元位置と反射強度の情報を持っている。

さらにCentroid(voxelの内のpointの平均)からの距離の情報3つを加える。
この7つの特徴量をPoint-wise inputとする。

Fully Connected Layerで特徴量を抽出。
Channel毎の最大値を結合する。(Voxel内の点群の一番強い特徴が残る)

単純にVFEをn回繰り返えす。
最後にFully Connected layerとElement-Wise MaxPoolをしてVoxelの特徴量を得る。

すべてのVoxelに同じ処理をするとVoxelのFeature Map(Channel,Depth,Height,Width)が得られる。

意外とシンプル！

Convolutional Middle Layers

3D CNNを用いて2Dに落とし込む。高さの情報をChannelに入れ込む感じ。

Region Proposal Network

2Dの物体検出でおなじみのRPN。 入力は2DのBEV(Bird Eye View)だから、好きな2DのObject Detectorを適当に選んでつければ完成！

結果

 前のモデルよりかなり精度が上がっている

結論

・End-To-Endでシンプルなモデル。これは3D Objecet Detectionのbaselineとして活用されそう。

参考文献

VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection https://openaccess.thecvf.com/content_cvpr_2018/CameraReady/3333.pdf