1. 概要

コンピュータビジョンでは、異なるデータセットや視点から取得された複数の画像や点群などのデータを同じ座標系に対応付けるプロセスをRegistrationと呼び、画像の位置合わせやゆがみ補正、物体のトラッキング、3Dモデリング、医療画像処理などに利用される。この研究では、3D Point Cloudを用いた学習ベースのRegistrationの技術を提案しており、特に医療診断における肺血管ツリーのアライメント(3次元での位置合わせ)など、高度に変形する構造を持つタスクに焦点を当てている。

2. 新規性

大規模なPoint Cloudの3次元点群から変形可能な3D Registrationを実現するために、効率的で高精度な損失関数を提案している。また、高解像度のデータ(100k以上の3D pointを持つ)に対して、点群距離を測定する計算量を大幅に削減する外挿方法と正則化を"Sparse Motion Field"(動きのある対象の表面や点群を速度ベクトルや変位ベクトルで記述する)に適用している。

3. 実現方法

Source/TargetのPoint Cloudは、幾何学的なRegistrationであるPointPWC modelとDGCNN modelに入力され、Sparce Motion Fieldを予測する。ここで、提案手法であるDiVRoCを使用して正則化と密なベクトル場への変換を行う。用いているのは微分可能なネットワークのため、Adamを使って高速なインスタンスの最適化を実現しており、さらにkNN平滑化やChamfer Loss(2tuの点群の形状や類似性を評価)と組み合わせてDivRoC正則化を適用すると効果が大きくなることを示している。

4. 結果

DiVRoCは正則化手法のため、従来手法のオプティマイザーやネットワークに簡単に組み込むことが可能で、PVTデータセットでSOTA(State-of-the-Art)を達成している。

Paper URL: https://openaccess.thecvf.com/content/ICCV2023/html/Heinrich_Chasing_Clouds_Differentiable_Volumetric_Rasterisation_of_Point_Clouds_as_a_ICCV_2023_paper.html

last updates: Oct 10 2023