ICML2022の枝刈り論文 (3)

概要

この記事では、ICML2022の枝刈り論文を紹介します。¹

その1 その2

Coarsening the Granularity: Towards Structurally Sparse Lottery Tickets

(ICML2022 Spotlight)
概要：Structuredな当たりくじを見つける方法。
新規性：IMP (Iterative Magnitude Pruning) をstructuredにすると精度が落ちるし当たりくじに当たらなくなる課題を初めて解決する方法を提案した。
キモ：UnstructuredのIMPの後に後処理を入れる。2種類提案した。

1. Refill. 刈った後に重要なチャンネル(重みのL1ノルムなどで測る)を戻す。
2. Regroup. 似た特徴を見つけて潰す。似た特徴を見つけるにはhMETISを使う。
   評価：画像認識タスクで実験した。Wide-ResNetで2%、MobileNetで1%落ち
   

DepthShrinker: A New Compression Paradigm Towards Boosting Real-Hardware Efficiency of Compact Neural Networks

概要：DepthShrinker. Inverted residual blockなどの高速化方法。
研究機関：Meta
新規性：MobileNetV2やEfficientNet-Lite0を3~4倍高速化した。
キモ：Inverted residual blockのうち、寄与していないActivationを除いてFine-tuningして1つのdenseなConvにマージする。
Activationに学習可能なマスク$m$をつけて学習する。($m$が大きいほど重要)

評価：MobileNetV2やEfficientNet-Lite0で適用前後で比較した。ResNetでも実験した。

1. 画像や数式は論文から引用しています。 ↩