NeurIPS2022の枝刈り論文 (1)

概要

この記事では、NeurIPS2022の枝刈り論文を紹介します。¹

Structural Pruning via Latency-Saliency Knapsack

• 概要：Hardware-awareなstructured枝刈りの改良
• 研究機関：NVIDIA
• 新規性：Hardware-awareな枝刈りを組合せ最適化として解く方法を提案
• キモ：
  レイヤ毎に重要度とレイテンシを推定して、制約下でナップサック問題で最適化する。
  重要度はロスのテイラー展開の1次の係数とBatchNormalizationの$\gamma, \beta$で測る。
  Neuron Groupingで高速化する。
• 評価：ResNet50, MobileNet等で実験した。

SAViT: Structure-Aware Vision Transformer Pruning via Collaborative Optimization

• 概要：ViTの枝刈り。
• 新規性：要素間の構造も考慮して枝刈りする。
• キモ：パラメータの巨大Hessianをパラメータの種類毎に分割して、それぞれの種類でHessianと相互作用を測る
• 評価：DeiTやSwin-Transformer等で、ImageNet・COCO評価した。

Advancing Model Pruning via Bi-level Optimization

• 概要：BiP. 枝刈りの新しいアルゴリズム
• 研究機関：IBM
• 新規性：枝刈りをBi-level Optimization (BLO) と考えて解くアルゴリズムを提案した。
• キモ：BLOとして定式化する((1)式)
  
  BLOの解き方で最適化する。
  
• 評価：CIFAR, ResNetで実験した。

On Measuring Excess Capacity in Neural Networks

• 概要：DNNの余剰能力の測定と枝刈りの考察
• 新規性：Rademacher complexityを使って枝刈りでどこまで刈れるかの考察・実験をした。
• キモ：実験により2つの知見を見出した。
  1. かなり刈っても精度維持できる。
  2. タスクが違っても刈れる量のオーダは同じくらいである。
• 評価：ResNet-18, CIFAR, Tiny-ImageNetで実験した。

Rare Gems: Finding Lottery Tickets at Initialization

• 概要：Gem-Miner. 当たりくじを見つける方法
• 新規性：当たりくじを探す方法で、従来は収束しない可能性がある課題を解決する。
• キモ：強い宝くじ仮説論文のedge-popupアルゴリズムに、正則化とfreezingを入れたアルゴリズム
• 評価：CIFAR-10, ResNet, MobileNet等でIMPなどと比較した。

1. 画像や数式は論文から引用しています。 ↩