1. 概要

CO-Netは、異なるデータセットドメインで複数のポイントクラウドタスクを効率的に最適化する包括的なフレームワークである。高いストレージ効率を実現するために、共有パラメータが豊富なモデルを一つにまとめる。また、Res-MLPブロックを使用して効果的な特徴抽出を行い、柔軟にネットワークの深さと幅をスケールする。さらに、各タスクに最適なアーキテクチャを探索するために、ブロックをベースにしたネステッドレイヤーワイズ処理ポリシーを提案する。これにより、異なるタスクやデータセットドメインの偏りに起因する問題を解決する。さらに、CO-Netの学習を促進するために、符号ベースの勾配手術を提案し、各タスクの最適化を重視する。

2. 新規性

異なるデータセットドメイン下で複数のポイントクラウドのタスクを共同で最適化する。
NAS技術を使用して、異なるタスクの最適なアーキテクチャを自動的に特定するためのネスト型の層ごとの処理ポリシーを提案した。このポリシーは、バックボーンのパラメータが共有されるかどうかを手動ではなく自動的に決定する。
衝突する勾配を排除するためにサインベースの勾配手術を導入した。
CO-Netのトレーニングが完了すると、タスク共有のパラメータを固定して行うことで、CO-Netは少ないタスク固有のパラメータでの増分学習を可能にする。

3. 実現方法

CO-Netは複数のポイントクラウドタスクのネットワークアーキテクチャであり、ステムMLP、バックボーン、およびさまざまなタスクのヘッドから構成されている。バックボーンの各層には、ネストされた層ごとの処理ポリシーが適用され、異なるタスクのための最適なアーキテクチャを特定し、自動的にバックボーンのどのパラメータを共有するかを決定することで、タスクに関連する特徴を生成することができる。実線の部分は選択されたもので、点線の部分は選択されていない。

4. 結果

CO-Netは従来の手法よりもはるかに優れた性能を発揮しながら、総FLOPsとパラメータ数は少ないということが示されている。

Paper URL:
https://openaccess.thecvf.com/content/ICCV2023/papers/Xie_CO-Net_Learning_Multiple_Point_Cloud_Tasks_at_Once_with_A_ICCV_2023_paper.pdf