DINO-Tracker: A Novel Framework for Self-Supervised Point Tracking in a Single Video

1. 概要

コンピュータビジョンの分野において、動画内の物体や特徴点を正確に追跡することは、多くのアプリケーションの基盤となる重要な技術です。しかし、複雑な動きや長期的なオクルージョン（物体の隠れ）が存在する実世界の動画では、この追跡タスクは非常に困難です。

本記事では、ECCV 2024で発表された論文「DINO-Tracker: Taming DINO for Self-Supervised Point Tracking in a Single Video」を解説します。この研究は、事前学習済みのDINOモデルの特徴表現を活用し、単一の動画内で自己教師あり学習による高精度な点追跡を実現する新しいフレームワークを提案しています。DINO-Trackerは、長期的なオクルージョンを含む複雑なシーンでも優れた追跡性能を示し、教師あり学習手法と競合する結果を達成しました。

2. 研究背景と課題

動画内のpoint trackingは、コンピュータビジョンにおける重要かつcomplexなタスクです。このタスクは、動画の各フレームにおいて特定の点や特徴の位置を正確に追跡することを目的としています。従来のアプローチでは、大規模な合成データセットを用いた教師あり学習が主流でしたが、以下のような課題がありました：

合成データの多様性と規模の限界
例：実世界の複雑な照明条件や物体の変形を十分に再現できない
長期的なオクルージョンへの対応の難しさ
例：人が歩いている動画で、他の物体に一時的に隠れた後再び現れる足の追跡
動画全体の時空間情報の効果的な活用
例：数十秒にわたる長い動画シーケンス全体から一貫した特徴を抽出すること

これらの課題の難しさは、例えば以下のようなシナリオで顕著になります：

複雑な背景を持つ屋外シーンでの小さな動く物体の追跡
照明条件が急激に変化する環境での顔の特徴点追跡
多数の類似した物体が存在し、頻繁に重なり合う群衆シーンでの個人の追跡

図1: DINO-Trackerの概要。(a) 長期的なオクルージョンや複雑な物体変形に対応した追跡結果。(b) 特徴の洗練化による軌跡クラスタの形成

これらの課題に対し、DINO-Trackerは事前学習済みのDINOモデルの強力な特徴表現を活用し、テスト時に単一動画に適応する新しいアプローチを提案しています。このアプローチは、大規模なデータセットで学習された一般的な視覚特徴と、特定の動画に特化した適応学習を組み合わせることで、より柔軟で強力な追跡システムの実現を目指しています。

3. 提案手法の詳細説明

DINO-Trackerの核心は、事前学習済みDINOモデルの特徴を、単一動画の動きに適応させながらファインチューニングする点にあります。このアプローチにより、一般的な視覚特徴と動画固有の動きパターンを効果的に組み合わせることができます。提案手法は以下のステップで構成されています：

特徴抽出器の設計
- 固定されたDINOv2モデル：一般的な視覚特徴を提供
- CNN based Delta-DINO：DINO特徴への残差を学習し、動画特有の特徴を捉える
Tracking algorithm
- コサイン類似度に基づくcost volume計算
- ヒートマップの精緻化とSoft-Argmaxによる位置推定
Self-supervised learningの目的関数
- Optical flowによる短期的な対応付け
- DINOのBest-Buddy特徴対応
- ファインチューニングされたモデルからの特徴量のBest-Buddy対応
- Cycle consistency
- DINO事前学習の維持

図2: DINO-Trackerの構造。事前学習済みDINOv2と学習可能なDelta-DINOを組み合わせた特徴抽出器が中心となっている

3.1 特徴抽出器

DINO-Trackerの特徴抽出器Φ(I)は、以下の式で表されます：

$$Φ(I) = Φ_{DINO}(I) + Φ_Δ(I)$$

ここで、$Φ_{DINO}(I)$は固定された事前学習済みDINO特徴、$Φ_Δ(I)$はCNNベースのDelta-DINOモデルが予測する残差特徴です。この設計により、DINOの強力な意味的特徴を保持しつつ、動画固有の動きに適応できます。

3.2 Tracking algorithm

クエリ点$x_q$の特徴$φ_q$と目標フレームの特徴マップ$Φ_t$のコサイン類似度に基づいてcost volumeを計算します：

$$S(p) = cos-sim(φ_q, Φ_t(p))$$

このcost volumeをCNNで精緻化し、Soft-Argmaxで最終的な追跡位置を推定します。この方法により、サブピクセル精度の位置推定が可能になります。

3.3 Self-supervised learning

DINO-Trackerの学習は、以下の損失関数の組み合わせで行われます：

$$L = L_{flow} + λ_1 L_{dino-bb} + λ_2 L_{rfn-bb} + λ_3 L_{rfn-cc} + λ_4 L_{prior}$$

各項目の詳細は以下の通りです：

$L_{flow}$: Optical flowから得られる短期的な対応付けとの一致
$L_{dino-bb}$: DINO特徴のBest-Buddy対応を維持
$L_{rfn-bb}$: 洗練化された特徴のBest-Buddy対応を促進
$L_{rfn-cc}$: Cycle consistencyの維持
$L_{prior}$: DINO事前学習の特徴を維持

これらの損失関数により、DINO-Trackerは単一動画に適応しながら、DINOの強力な意味的特徴を活用できます。特に、Best-Buddy対応とCycle consistencyは長期的な追跡の一貫性を保つ上で重要な役割を果たします。

4. 評価実験と結果

DINO-Trackerの性能評価は、TAP-Vid-DAVIS、TAP-Vid-Kinetics、BADJAの3つのベンチマークデータセットで行われました。これらのデータセットは、様々な複雑さと長さの動画シーケンスを含んでおり、追跡アルゴリズムの総合的な性能を評価するのに適しています。

主な評価指標は以下の通りです：

$δ_{xavg}$: 可視点の平均位置精度
$OA (Occlusion Accuracy)$: オクルージョン予測の精度
$AJ (Average Jaccard)$: 位置とオクルージョンの精度を統合した指標

表1: 各ベンチマークデータセットにおける性能比較

実験結果から、DINO-Trackerは以下の点で優れた性能を示しました：

Self-supervised手法の中で最高性能を達成
Supervised learning手法と競合する結果
長期的なオクルージョンに対する優れた追跡能力

特に、オクルージョンの多いシーンでの性能向上が顕著でした：

図6: オクルージョン率に応じた追跡性能の比較。DINO-Trackerは高オクルージョン率でも優れた性能を維持している

この結果は、DINO-Trackerが長期的なオクルージョンや複雑な動きを含む実世界のシナリオにおいて、従来の手法よりも優れた追跡能力を持つことを示しています。

5. 考察

DINO-Trackerの実験結果は、self-supervised learningとpre-trained modelの組み合わせが、point trackingタスクにおいて非常に効果的であることを示しています。以下に、主要な考察をまとめます：

DINOの特徴表現の有効性：
事前学習済みDINOモデルの特徴表現が、point trackingタスクに適していることが確認されました。これは、DINOが学習した一般的な視覚特徴が、物体の動きや変形に対してロバストであることを示しています。
Self-supervised adaptationの重要性：
単一動画に対するself-supervised adaptationにより、モデルが動画固有の特徴や動きパターンを学習できることが示されました。これは、一般的な事前学習と特定タスクへの適応を組み合わせるアプローチの有効性を裏付けています。
長期的オクルージョンへの対応：
DINO-Trackerが長期的なオクルージョンに対して特に優れた性能を示したことは注目に値します。これは、DINOの特徴表現と提案された学習方法が、物体が一時的に見えなくなる状況でも一貫した追跡を可能にすることを示しています。
計算効率とリアルタイム性：
テスト時の適応学習は計算コストが高くなる傾向がありますが、DINO-Trackerはこの問題を効率的に解決しています。ただし、リアルタイム応用に向けてはさらなる最適化が必要かもしれません。
一般化能力：
異なるデータセットでの一貫した性能は、DINO-Trackerの汎化能力の高さを示唆しています。

6. 結論と今後の展望

DINO-Trackerは、事前学習済みDINOモデルの特徴表現を活用し、単一動画でのself-supervised point trackingを行う新しいモデルを提案しました。主な貢献は以下の通りです：

DINOのpre-trained特徴をpoint trackingタスクに適用した初めての試み
テスト時学習と外部事前知識を組み合わせた新しいアプローチ
長期的オクルージョンに対する追跡性能の大幅な向上

参考文献

Tumanyan, N., Singer, A., Bagon, S., & Dekel, T. (2024). DINO-Tracker: Taming DINO for Self-Supervised Point Tracking in a Single Video. In European Conference on Computer Vision (ECCV).
Caron, M., Touvron, H., Misra, I., Jégou, H., Mairal, J., Bojanowski, P., & Joulin, A. (2021). Emerging Properties in Self-Supervised Vision Transformers. In Proceedings of the International Conference on Computer Vision (ICCV).
Teed, Z., & Deng, J. (2020). RAFT: Recurrent All-Pairs Field Transforms for Optical Flow. In European Conference on Computer Vision (ECCV).
Doersch, C., Gupta, A., Markeeva, L., Continente, A. R., Smaira, K., Aytar, Y., ... & Yang, Y. (2022). Tap-vid: A benchmark for tracking any point in a video. In NeurIPS Datasets Track.
Wang, Q., Chang, Y. Y., Cai, R., Li, Z., Hariharan, B., Holynski, A., & Snavely, N. (2023). Tracking everything everywhere all at once. In International Conference on Computer Vision (ICCV).