1. 概要

アクションレット依存の対比学習法（ActCLR）。アクションレットは、人間の骨格の識別的な部分集合と定義され、より良いアクションモデリングのために動作領域を効果的に分解する。

2. 新規性

自己教師あり事前学習のパラダイムは、骨格ベースのアクション認識で大きな成果をあげているが、これらの手法では動きと静止した部分を同等に扱っており、異なる部分に適応的な設計が欠如しているため、アクション認識の精度に悪影響を及している。本手法では両方の部分に適応したアクションモデリングを実現している。

3. 実現方法

動きのない静止したアンカーと対比させることで、非教師付きの方法で骨格データの動作領域を抽出し、それをアクションレットとして利用し、アクションレットを中心に、動作適応型のデータ変換方法を構築する。アクションレットと非アクションレットの領域には異なるデータ変換が適用され、より多様性を導入しながらそれぞれの特徴を保持する。同時に、運動と静止領域の特徴表現を、意味に敏感な特徴プーリング法を用いて区別的に構築する。

4. 結果

NTU RGB+DとPKUMMDでの多くの実験により、提案手法が優れたアクション認識性能を達成することが示された。さらなる可視化と定量的な実験により、私たちの手法の有効性が示されている。

Paper URL:
https://openaccess.thecvf.com/content/CVPR2023/papers/Lin_Actionlet-Dependent_Contrastive_Learning_for_Unsupervised_Skeleton-Based_Action_Recognition_CVPR_2023_paper.pdf