【3D OD LiDAR編】VoteNet : 物体の中心点推定からの3D Object Detection

Deep Hough Voting for 3D Object Detection in Point Clouds


PointCloudから物体の中心へのOffsetを推定し、Votes(物体の中心点に寄った点)を得る。任意の数にVotesをClusterし、ClusterされたPointの特徴から3D Bounding Boxを推定する手法。

アルゴリズム

seeds

N個のpoint(x,y,z)をPointNet++に入力し、M個のpoint(x,y,z, +c)の特徴量を推定する M個のpointを選び出すのがvotingという作業。

vote

 なるほど〜。Voteとはそれぞれの点から物体の中心までのoffsetを推定する作業のことか。 だから物体の周りに赤い点が固まってるのね

Vote clusters


farthest point sampling(均等に点をpickしてくれる)を使ってk個のvote(offsetを加味したpoint)を選び出す。
選ばれなかったすべてのvoteは最短の選ばれたvoteにclusteringする

output 3D boundingbox

clusterの周りのvoteを入力にPointNet++を使って物体のクラス分類と3DのBounding Boxの推定をする。 出力はK個のBounding Boxとなる。

結論

・RPN(Region Proposal Network)の物体の3D Bounding Boxを提案して、そこからoffsetを推定するのに似ていると思った。VoteNetの場合は物体の中心を提案して、そこから3D Bounding Boxを直接推定する。

参考文献

Deep Hough Voting for 3D Object Detection in Point Clouds https://arxiv.org/pdf/1904.09664.pdf