Abstract

訳文

モデル蒸留は, 複雑なモデルの知識をより単純なものに蒸留することを目的としている. この論文では, データセット蒸留と呼ばれる別の定式化を検討する: モデルを固定したままにして, 代わりに大規模な学習データセットから小さなデータセットに知識を蒸留しようとする. このアイデアは, 正しいデータ分布から来る必要はないが, 学習アルゴリズムに訓練データとして与えられたときに, 元のデータで訓練されたモデルに近似する少数のデータポイントを合成することである. 例えば, $60,000$ 枚の MNIST 訓練画像をわずか $10$ 枚の合成蒸留画像 (クラスごとに $1$ 枚) に圧縮し, 固定のネットワーク初期化を行うことで, わずか数回の勾配降下ステップで元のデータに近い性能を達成できることを示した. 我々は, 様々な初期化設定と異なる学習目的で我々の手法を評価する. 複数のデータセットを用いた実験により, 他の手法と比較して本手法の優位性が示された.

原文

Model distillation aims to distill the knowledge of a complex model into a simpler one. In this paper, we consider an alternative formulation called dataset distillation: we keep the model fixed and instead attempt to distill the knowledge from a large training dataset into a small one. The idea is to synthesize a small number of data points that do not need to come from the correct data distribution, but will, when given to the learning algorithm as training data, approximate the model trained on the original data. For example, we show that it is possible to compress 60,000 MNIST training images into just 10 synthetic distilled images (one per class) and achieve close to original performance with only a few gradient descent steps, given a fixed network initialization. We evaluate our method in various initialization settings and with different learning objectives. Experiments on multiple datasets show the advantage of our approach compared to alternative methods.