ICLR2022の枝刈り論文 (2)

概要

この記事では、ICLR2022の枝刈り論文をまとめます。¹
その1

An Operator Theoretic View on Pruning Deep Neural Networks

(ICLR2022 Poster)
概要：枝刈りの理論解析。
新規性：枝刈りをクープマン作用素による離散時間システムとみなして考察した。
キモ：
Koopeman Magnitude Pruning (KMP) の序盤はGlobal Magnitude Pruning (GMP)と似ているので序盤は似ていることを示した。

クープマンモード分解した最大固有値が勾配ベースの枝刈り(KGT)になることから、Magnitudeベースも勾配ベースもクープマン作用素で理解できると主張した。

Revisit Kernel Pruning with Lottery Regulated Grouped Convolutions

(ICLR2022 Poster)
概要：Kernel pruningの方法。
新規性：シンプルな手法で、Filter pruningよりも精度が高い。
キモ：
似ているフィルタでクラスタリングしグループで刈る。

TMI score(重みの増分)が均等になるように刈る。

評価：ResNet, CIFAR-10, ImageNetでFilter pruningと比較した。

Effective Model Sparsification by Scheduled Grow-and-Prune Methods

(ICLR2022 Poster)
概要：GOP. 刈りながら学習することで省メモリに学習する方法。
新規性：4つに分けて、Denseでの学習と、Sparseな学習と、枝刈りをスケジュールしながら学習する。

キモ：このように刈りながら学習する。

評価：RigLなどと比較した。

The Unreasonable Effectiveness of Random Pruning: Return of the Most Naive Baseline for Sparse Training

(ICLR2022 Poster)
概要：Sparse trainingにおけるrandom pruningの調査。
新規性：様々にパラメータを振ってrandom pruningした時のsparse trainingの精度を網羅的に調べた。
キモ：ResNet, CIFAR, ImageNetで実験した。

(1)層の数や幅が大きいほどRandom pruningでも精度が落ちにくいことを実証した。
(2)Random pruningのERKがSNIPやGraSPより精度が高いことを実証した。

Learning Efficient Image Super-Resolution Networks via Structure-Regularized Pruning

(ICLR2022 Poster)
概要：SRPN-Lite. 超解像へのstructured pruningの適用。
新規性：従来の超解像はresidualの構造(スキップコネクション)のため枝刈り適用が難しかったのに対して枝刈りを適用した。
キモ：刈るレイヤと同じ番号のレイヤにはペナルティを与えるように正則化項を追加する。


評価：EDSRや他の手法と比較した。

1. 画像や数式は論文から引用しています。 ↩