【ECCV2024】Vision Transformerの性能向上: テキスト特徴量を活用した忘却の軽減と適応的パラメータ融合
1. 概要
本研究では、大規模な視覚言語事前学習モデルCLIPを用いたクラス増分学習(CIL)の性能向上手法を提案しています。具体的には、テキスト特徴量を活用して隣接クラス間の分離を強化し、古いクラスの忘却を軽減する手法と、タスク間で共有される知識を考慮した適応的なパラメータ融合手法を組み合わせています。提案手法は、CLIPモデルの優れた特徴抽出能力を活かしつつ、新しいクラスの学習によって引き起こされる古いクラスの忘却問題に対処します。CIFAR100、ImageNet100、ImageNet-Rなどの複数のデータセットで実験を行い、提案手法が既存手法を上回る性能を達成したことを示しています。本手法は、事前学習済みの視覚言語モデルを効果的に活用し、クラス増分学習の課題に取り組む新しいアプローチを提示しています。
2. 研究背景と課題
クラス増分学習(CIL)は、新しいクラスのデータが逐次的に追加されるシナリオで、モデルを継続的に学習させる課題です。この分野では、新しい知識を学習しながら、以前に学習した知識を忘却しないことが重要な課題となっています。
従来のCIL手法には以下のような問題がありました：
- モデルを一から学習させるため、大規模データセットで事前学習されたモデルの優れた特徴抽出能力を活かせない
- 新しいクラスの学習により、古いクラスの性能が大きく低下する（破滅的忘却）
- 古いクラスのデータを保存して再学習する手法は、プライバシーやストレージの制約がある場合に適用できない
近年、CLIPのような大規模視覚言語モデルがCILタスクでも高い性能を示すことが報告されています。しかし、これらのモデルを単純にファインチューニングすると、やはり忘却の問題が生じてしまいます。
図1: 隣接クラス間の分離の課題。新しいクラスが追加されると、似たような特徴を持つ古いクラスの分類性能が低下する可能性がある。
図1は、CILにおける隣接クラス間の分離の課題を示しています。新しいクラス（例：mud turtle）が追加されると、似たような特徴を持つ古いクラス（例：box turtle）の分類性能が低下する可能性があります。本研究では、このような課題に対処するため、テキスト特徴量を活用した手法を提案しています。
3. 提案手法の詳細説明
提案手法は、主に2つの要素から構成されています：
- テキスト特徴量を活用した隣接クラスの分離強化
- 適応的なパラメータ融合
3.1 テキスト特徴量を活用した隣接クラスの分離強化
CLIPモデルは、画像とテキストの特徴量を共有の埋め込み空間に写像します。この特性を活かし、クラス名のテキスト特徴量を用いて、新旧クラス間の類似度を計算します。
-
新旧クラス間の類似度計算:
$D = dist(f_{text}(t_{new}), f_{text}(t_{old}))$
ここで、
f_textはCLIPのテキストエンコーダ、t_newとt_oldはそれぞれ新旧クラスの名前です。 -
隣接クラスのペアの選択:
$P = \{(i, j) | D_{ij} < α\}$
αは閾値パラメータで、この条件を満たすクラスペアを隣接クラスとして扱います。
-
ヒンジ損失の導入:
$L_{hinge} = Σ_k max(dist(A(e_c), f_{text}(t_c)) - dist(A(e_c), f_{text}(t_c')) + m, 0)$
ここで、
Aはアダプタ層、e_cは古いクラスcのサンプルされた特徴量、t_cとt_c'はそれぞれ古いクラスと新しいクラスのテキスト特徴量、mはマージンです。
この損失関数により、アダプタ層は混同されやすい隣接クラス間の分離を強化するよう学習します。
図2: 提案手法の全体アーキテクチャ。テキスト特徴量を用いた隣接クラスの分離と、パラメータ融合を組み合わせている。
3.2 適応的なパラメータ融合
タスク間で共有される知識を考慮し、効果的にパラメータを融合する手法を提案しています。
-
パラメータの重要度計算:
$M = min(1, \frac{|W_{new} - W_{old}|} {max(|W_{new} - W_{old}|)} + b)$
W_newとW_oldはそれぞれ現在のタスクと前のタスクのパラメータ、bはバイアス項です。 -
共有知識空間の抽出:
SVD（特異値分解）を用いて、パラメータ行列を直交基底Bと係数Rに分解します。$$W_{old} = B * R_{old}$$
$$R_new = B^T * W_{new}$$ -
パラメータの融合:
$$R = (J - M) ⊙ R_{old} + M ⊙ R_{new}$$
$$W = B * R$$ここで、Jは全要素が1の行列、⊙はアダマール積（要素ごとの積）を表します。
この手法により、タスク間で共有される知識を保持しつつ、新しいタスクに適応するパラメータ更新が可能になります。
4. 評価実験と結果
提案手法の有効性を検証するため、CIFAR100、ImageNet100、ImageNet-Rなどの複数のデータセットで実験を行いました。
図3: ImageNet100データセットにおける精度の推移。提案手法（ours）が他の手法を上回る性能を示している。
図3は、ImageNet100データセットにおける精度の推移を示しています。提案手法（ours）が、他の最新手法（PROOF、L2P++、DualPrompt、CODA、Continual-CLIP、SLCA、ADAM-Adapter）を一貫して上回る性能を達成していることがわかります。
主な実験結果は以下の通りです：
- ImageNet100のB0 Inc10設定で、最終精度80.23%を達成（次点の手法は76.40%）
- CIFAR100のB0 Inc10設定で、最終精度79.04%を達成（次点の手法は76.29%）
- ImageNet-RのB0 Inc20設定で、最終精度80.28%を達成（次点の手法は77.05%）
また、アブレーション実験により、提案手法の各コンポーネント（テキスト特徴量を用いた隣接クラス分離、パラメータ融合）の有効性も確認されました。
5. 結論と今後の展望
本研究では、CLIPモデルを基盤としたクラス増分学習の新しいアプローチを提案しました。テキスト特徴量を活用した隣接クラスの分離強化と、タスク間で共有される知識を考慮した適応的なパラメータ融合により、忘却を軽減しつつ新しいクラスを効果的に学習できることを示しました。
提案手法は、複数のベンチマークデータセットで最先端の性能を達成し、特に大規模かつ多様なデータセット（ImageNet-R）で顕著な改善を示しました。また、exemplar（古いクラスのサンプルデータ）を使用せずにこの性能を達成したことも重要な点です。
今後の研究の方向性として、以下のような課題が考えられます：
- 隣接クラス選択の閾値を動的に調整する機構の開発
- より効率的なパラメータ融合メカニズムの設計
- テキストと画像の相互影響をさらに深く探求する手法の開発
これらの課題に取り組むことで、視覚言語モデルを活用したクラス増分学習の性能をさらに向上させることができると期待されます。
参考文献
- Huang, L., Cao, X., Lu, H., & Liu, X. (2024). Class-Incremental Learning with CLIP: Adaptive Representation Adjustment and Parameter Fusion. arXiv preprint arXiv:2407.14143.