5 Discussion & Conclusion

訳文

本研究では, スパースなニューラルネットワークを効率的に学習するためのアルゴリズムである ‘Rigged Lottery’ (RigL) を紹介する. 与えられた計算予算に対して, RigL は既存の密からスパースへ, スパースからスパースへの訓練アルゴリズムよりも高い精度を達成する. RigL は3つの異なるシナリオで有用である. (1) 配備を目的としたスパースなモデルの精度向上, (2) 限られたイテレーション数しか訓練できない大規模でスパースなモデルの精度向上, (3) スパースプリミティブと組み合わせて, 通常では不可能な大規模でスパースなモデルの訓練を可能にする.

第3のシナリオは, ハードウェアおよびソフトウェアによる sparsity のサポートが不足しているため, 未踏のシナリオである. それにもかかわらず, 現在のハードウェア上でのスパースネットワークの性能を向上させる作業が続けられており (Hong et al., 2019; Merrill & Garland, 2016), 新しいタイプのハードウェアアクセラレータは, パラメータの sparsity をより良くサポートするようになるだろう (Wang et al., 2018; Mike Ashby, 2019; Liu et al., 2018; Han et al., 2016a; Chen et al., 2019). RigL は, そのような進歩を利用するためのツールを提供し, そのためのモチベーションを提供する.

原文

In this work we introduced ‘Rigged Lottery’ or RigL, an algorithm for training sparse neural networks efficiently. For a given computational budget RigL achieves higher accuracies than existing dense-to-sparse and sparse-to-sparse training algorithms. RigL is useful in three different scenarios: (1) To improve the accuracy of sparse models intended for deployment; (2) To improve the accuracy of large sparse models which can only be trained for a limited number of iterations; (3) Combined with sparse primitives to enable training of extremely large sparse models which otherwise would not be possible.

The third scenario is unexplored due to the lack of hardware and software support for sparsity. Nonetheless, work continues to improve the performance of sparse networks on current hardware (Hong et al., 2019; Merrill & Garland, 2016), and new types of hardware accelerators will have better support for parameter sparsity (Wang et al., 2018; Mike Ashby, 2019; Liu et al., 2018; Han et al., 2016a; Chen et al., 2019). RigL provides the tools to take advantage of, and motivation for, such advances.