1. 概要
この論文では、3D物体認識の精度を向上させるための新しい表現学習の学習方法について研究している。従来の表現学習(Representation Learning)は、入力データに何らかの変換(例えば、回転・拡大縮小)が加えられても、その特徴が変わらないように不変性(invariance)を考慮して学習を進めることが一般的だった。しかし、物体位置推定やセグメンテーションなどの3D物体認識のタスクでは、出力は入力のデータの変換に対して同じように変換されるべき性質(共変性: equivariance)を持っている。
提案手法では、時空間等価性学習という新しいフレームワークを提案しており、空間的な変換だけでなく、時間的な物体の動きなどの変換に対しても共変性を持つ特徴を学習する方法となっている。
実験の結果、平行移動・拡大縮小・反転回転・シーンフローなどに対する共変性を持つ特徴を学習することで、よりロバストで正確な3D物体認識が可能になった。
*表現学習：データからよりよい特徴を自動的に見つけ出す手法。
2. 新規性
-
時空間等価性学習：
空間的な変換だけでなく、時間的な変換(シーンフロー)も考慮した時空間等価性学習フレームワークを提案しており、動的な環境における3D物体認識の精度向上を実現した。 -
変換に応じた最適な目的関数の選択：
◇ コントラスティブな目的関数(Contastive objective)：類似した入力ペア(同じ物体の異なる視点からの画像など)の特徴を近づけ、非類似なペアの特徴を遠ざけるように学習する目的関数。
◇ 分類による等価性目的関数(Equivariance-by-Classification Objective)：入力に変換を適用した時、特徴がどのように変換されるかを予測する分類問題を解くことで、等価性を学習する目的関数。
3. 実現方法
この研究では、LiDAR点群データを自己教師有学習(Self-Supervised Learning, SSL)するためのフレームワークを提案しており、LiDAR点群データに様々な変換(Augmentation)を加えて、その変換前後のデータから同じ特徴を取り出せるようにニューラルネットワークを学習させている。
*自己教師有学習：ラベル無しデータから自動的に教師信号を生成し学習を行う手法。
- オーグメンテーション(Spatial and Temporal Augmentations)：
入力のLiDARセンサーから得られた3D点群データを時空間でオーグメンテーションして、変換バリエーションを増やす。
- 空間的オーグメンテーション：物体の回転、平行移動、拡大・縮小、反転など空間的な位置関係を変える。
- 時間的オーグメンテーション：連続するフレーム間の点群データの動き(シーンフロー)を考慮した変換。あるフレームの点群データを、次のフレームでの物体の動きに合わせて変形させる。
- ネットワーク構成：
オーグメンテーションされた点群データを、以下の4つのネットワークに入れる。
- 3D Feature Extraction Backbone(f): 点群データから特徴量を抽出するためのネットワーク。3D点群処理に特化したCNNなどが使われる。
- Projector Network(m): Backborn(f)で抽出された特徴量を、別の空間に射影するためのネットワーク。特徴量をより扱いやすくしたり、学習を安定化させたりする効果がある。
- Predictor Network(q): Projector Network(m)の出力から、さらに別の表現を予測するためのネットワーク。これにより、ネットワークに予測タスクを解かせることで、よりよい特徴量の学習を実現している。
- Classifier(s): 空間的オーグメンテーションの種類を分類するためのネットワーク。入力された点群データにどのように空間的変換が加えられたかを当てることで、変換に対して共変性を持つ特徴量を学習できる。
- 学習と推論：
3D点群の空間的な変換と時間的な変換の一部を学習しOnline Branch(f, m, q)として、未知の3D点群データに対してOnline Branchの重みの指数移動平均(EMA: Exponential Moving Average)をコピーすることで、Target Network(f', m')として追従し、学習を安定化させる。
4. 結果
3D物体認識のバックボーンとしてVoxelRCNNをWaymo Open Datasetで事前学習し、KITTIデータセットでファインチュチューニングしたモデルを採用したときの結果。
3D物体認識のバックボーンとしてVoxelRCNNをKITTI-360で事前学習し、KITTIデータセットでファインチューニングしたモデルを採用したときの結果。
提案手法は様々なデータセットにおいて、既存の等価性および不変性アプローチよりも優れた3D物体検出精度を達成している。
KITTIデータセットやWaymo Open Datasetなどの大規模な自動運転データセットにおいて、顕著な性能向上が確認されている。
時空間的なオーグメンテーションを組み合わせることで、静的な環境だけでなく、動的な環境においてもロバストな物体検出が可能となった。
3Dシーンフローベースの等価性目的関数は、物体の変形や動きに強い表現学習を可能にし、物体検出精度の向上を達成した。
Paper URL:https://www.ecva.net/papers/eccv_2024/papers_ECCV/papers/03831.pdf
last updates: Oct. 4 2024