1. 概要
端末に分散したデータを活用してモデルを学習する手法のことを連邦学習(Federated Learning)と呼び、プライバシー保護が重視されるユースケースで用いられる。ディープラーニングのモデルは新たなデータを学習する際に、以前学習した情報を忘れてしまう破滅的忘却(Catastrophic Forgetting)という課題が指摘されているが、この論文では連邦学習における忘却防止のための生成AIのモデルを提案している。特に、データを各端末で分散して学習する連邦学習の場合、破壊的忘却がより顕著になることが知られていた。
従来、中央集権型の学習環境では忘却防止手法がいくつか提案されていたが、プライバシー保護や端末リソースの制約など連邦学習特有の制約のため、そのまま適用できなかった。
提案手法では、連邦クラス漸進学習(Federated Class Incremental Learning)を提案しており、生成モデルを活用して過去の学習対象だったデータの分布を模倣して、新しいデータと組み合わせて忘却防止を図っている。クラス漸進学習 (class incremental learning)とは、少しずつ新しいクラスのデータを学習に加え、忘却を防止する手法のことを指す。
2. 新規性
- 生成モデルを活用して、過去の学習対象データを模して忘却防止を実演する手法を提案している。
- 連邦学習(Federated Learning)におけるプライバシー保護に配慮した生成モデルの訓練方法を提案している。
- ユーザーが過去のデータやモデルを保持しなくても参加できる柔軟な手法を提案している。
3. 実現方法
- 生成モデルを訓練して、過去の学習対象データを模倣したサンプルを生成する。
- 生成されたサンプルを新しい学習データと組み合わせて、モデルを更新する。
- 生成モデルは、各端末からデータを収集することなく、プライバシーを保護しつつサーバー側で訓練を行う。
- ユーザーは過去のデータやモデルを保持する必要が無く、自由に学習への参加/離脱が可能となる。
4. 結果
従来手法と比較して、忘却防止性能が向上していることを、複数のデータセットを用いた実験で確認している。なお、評価には学習タスク間に重複タスクが無く、モデルは今まで学習したすべてのクラスに対して評価されるようにしている。これによって、クラス漸進学習(class incremental learning)の評価が可能となっている。
Paper URL: https://openreview.net/forum?id=3b9sqxCW1x
last updates: Apr. 18 2024