ICML2022の枝刈り論文 (2)

概要

この記事では、ICML2022の枝刈り論文を紹介します。¹

その1

Topology-Aware Network Pruning using Multi-stage Graph Embedding and Reinforcement Learning

概要：GNN-RL. 枝刈りを最適に行う手法。
新規性：DNNのアーキテクチャをGNNでモデル化して、強化学習で最適化する方法。
キモ：マルチレベルのGNNでモデル化することで効率化する。

評価：MobileNet v1, v2やResNetで実験した。

Winning the Lottery Ahead of Time: Efficient Early Network Pruning

概要：EarlyCroP. 枝刈り学習。学習の初期にstructuredで刈るもの。
新規性：GPUのメモリ量や計算コストが低い方法。

キモ：Gradient Flow (GF) を保存するように刈る。

$I(\Theta_t)$が小さい$\rho$%を刈る。(GrasPではGFを最大化するのと対照的)
これは、DNNの推論性能と相関のあるNTKを保存することと、GFを保存することに相関があるから。
評価：ResNet, CIFAR, TinyImageNet等で実験した。

Neural Network Pruning Denoises the Features and Makes Local Connectivity Emerge in Visual Tasks

概要：枝刈りで得られる重みの考察。
新規性：IMPの枝刈りで得られる重みから、local connectivityというCNNのinductive biasを見出すことができることを示した。
キモ：様々な枝刈りを試して、IMPがベストであることを示した。
評価：ImageNetを学習させて実証した。

1. 画像や数式は論文から引用しています。 ↩