※ この記事は「EfficientTrain++: Generalized Curriculum Learning for Efficient Visual Backbone Training」の要約になります。

この記事を読んでわかること

EfficientTrain++は、画像系のモデルのトレーニング効率を改善するための一般化されたカリキュラム学習手法
低周波成分を利用し、徐々に難易度の高いパターンを導入することでトレーニング時間を短縮する
ImageNet-1K/22Kでの実験により、トレーニング時間を1.5〜3.0倍削減しつつ精度を維持することを確認

想定読者

機械学習研究者および開発者: 特に、画像系のモデルのトレーニングに関心があり、効率的なトレーニング方法を探している人
データサイエンティスト・AIエンジニア: 大規模なデータセットを用いてモデルを訓練する必要があり、トレーニングコストを削減したいと考えている専門家

従来手法の問題点

視覚バックボーンモデル (例えば Vision Transformers のような) はトレーニングが高コストです。これを解決するために、カリキュラム学習手法を用いることができますが、この手法も従来のものでは限界があります。

その理由は以下になります。

トレーニング時間と計算コストの高さ:
- 大規模データとモデルの複雑性: 近年の視覚バックボーン（例えば、Vision Transformers）は非常に大規模なデータセット（数億の画像）と膨大な数のパラメータ（数十億）を持っています。これにより、トレーニングには非常に多くの計算リソースと時間が必要になります。
- 経済的負担: 高価な計算リソース（例えば、TPUやGPU）を長時間使用することは、多くの研究者や企業にとって経済的な負担となります。このため、頻繁にモデルをトレーニングすることが難しくなり、イテレーションサイクルが遅くなります。
- 環境負荷: 計算リソースの大量消費は高い電力消費を伴い、それにより大きな炭素排出を引き起こします。環境への悪影響が問題視される中で、効率的なトレーニング手法の必要性が増しています。
既存のカリキュラム学習手法の限界:
- 難易度評価の難しさ: 既存のカリキュラム学習手法では、トレーニングデータの難易度を適切に評価し、容易なサンプルから難しいサンプルへと順に導入する必要があります。しかし、この難易度評価を一般的かつ軽量に行うことは困難です。
- 汎用性の欠如: 既存の手法は特定のタスクやデータセットに対して最適化されている場合が多く、異なるタスクやデータセットに対しては効果が限定的です。これにより、さまざまなモデルやデータセットに適用することが難しくなります。
- 計算コストの増加: 既存のカリキュラム学習手法では、データの難易度を評価するために追加の計算が必要となる場合が多く、結果としてトレーニング全体の計算コストが増加することがあります。

Efficient Train++ で低コストで性能を上げる

EfficientTrain++ とは？

EfficientTrain++は、視覚バックボーンのトレーニング効率を向上させるための一般化されたカリキュラム学習手法です。従来のカリキュラム学習が簡単なデータから徐々に難しいデータに移行するのに対し、EfficientTrain++は各データ例の中で徐々に難易度の高いパターンを見つけ出し、それを学習に取り入れる「ソフトセレクション」アプローチを採用しています。この方法により、トレーニング全体を通じてすべてのデータを活用しつつ、学習初期段階では「学びやすい」パターンに焦点を当て、トレーニングが進むにつれて難しいパターンを徐々に導入します。

EfficientTrain++ のメリット

トレーニング時間の短縮:
- EfficientTrain++は、視覚バックボーン（例えば、ResNet、ConvNeXt、DeiTなど）のトレーニング時間を1.5〜3.0倍短縮します。これにより、計算リソースとコストの大幅な節約が可能になります。
精度の維持または向上:
- トレーニング時間を短縮しつつ、モデルの精度を維持または向上させることができます。これにより、効率的なトレーニングが実現します。
コスト削減:
- 計算コストの削減に伴い、消費電力と炭素排出量も削減できます。これは、環境保護の観点からも重要です。
一般性と簡便性:
- EfficientTrain++は、さまざまな視覚バックボーンモデルに簡単に適用でき、追加のハイパーパラメータ調整が不要です。
自己教師あり学習への適用:
- EfficientTrain++は、自己教師あり学習（例えば、MAE）にも効果を発揮します。

EfficientTrain++ の手順

低周波成分の抽出:
- トレーニング初期段階では、入力データのフーリエスペクトルにおける低周波成分を学習します。これにより、モデルは「学びやすい」パターンを先に学習します。
  - 低周波成分は画像の大まかな特徴を捉えているため、モデルはまず簡単なパターンを学習することができます。
データ拡張の調整:
- 初期段階では、データ拡張の強度を弱めに設定し、元の画像内容を重視します。これにより、モデルはより自然な画像パターンを学習します。
カリキュラム学習スケジュールの設計:
- トレーニングが進むにつれて、徐々に高周波成分や難易度の高いパターンを導入します。これを実現するために、専用の検索アルゴリズムを使用して効果的なカリキュラム学習スケジュールを設計します。
効率的な大規模並列トレーニング:
- 多数のGPUを使用した大規模並列トレーニングを効率化するための技術を導入します。これにより、トレーニング速度をさらに向上させます。
データ前処理の最適化:
- CPUやメモリのデータ前処理負荷を軽減するための技術を導入し、トレーニング全体の効率を向上させます。

まとめ

いかがだったでしょうか？画像系のモデルに対するカリキュラム学習手法である Efficient Train++ の概要でした。
画像系が専門でない人もおもしろいアイディアなので知っておくとよさそうですね。

おわり。