NeurIPS2022の枝刈り論文 (4)

概要

この記事では、NeurIPS2022の枝刈り論文を紹介します。¹
その1 その2 その3

Data-Efficient Structured Pruning via Submodular Optimization

• 概要：Unstructured枝刈りの手法
• 新規性：理論的に少ないデータでも適用できることを説明できる手法
• キモ：あるレイヤを刈った時次のレイヤに与える影響が最小になるようにする((1)式)。この最適化問題をsubmodular problemとして解く。
  
• 評価：ResNet, VGGで実験した。

Controlled Sparsity via Constrained Optimization or: How I Learned to Stop Tuning Penalties and Love Constraints

• 概要：Sparsityを上げる学習
• 新規性：Sparsity条件を正則化項としてロスに加えて最適化するのではなく、制約条件に入れて解く方法
  
• キモ：Lagrangeの未定乗数法で解く。Dual Restart. 未定乗数の決め方
• 評価：ResNet等で実験した。

Robust Binary Models by Pruning Randomly-initialized Networks

• 概要：敵対的攻撃にロバストなバイナリモデル
• 新規性：ランダム重みから刈ってロバストなバイナリDNNを生成する。
• キモ：(1)Adaptive pruning. 枝刈り率が固定になる状態とパラメータ数が固定になる状態の間の状態になるように枝刈りする。(2)初期化方法 (3)最後のBatchNormalizationの扱い
• 評価：ResNet等で実験した。

Analyzing Lottery Ticket Hypothesis from PAC-Bayesian Theory Perspective

• 概要：当たりくじの分析
• 新規性：当たりくじは小さいLRによる探索なので局所的最適解に陥りやすく汎化性能が低いことを実験的に示した。
  
• キモ：この考察で、当たりくじをspike-and-slab(GaussianとDiracのデルタ)で表現した。(当たりくじがDiracのデルタで、Gaussianは刈る気持ち)

Recall Distortion in Neural Network Pruning and the Undecayed Pruning Algorithm

• 概要：枝刈りにおけるクラス不均衡
• 新規性：枝刈りにおけるRecallの不均衡(平均よりRecallが低いクラスは枝刈りでより低く、高いクラスはより高くなる)は拡大することを実証した。また、改善する方法を示した(Undecayed Pruning)
• キモ：RecallとAccuracyのバランスを表現する関数$\bar{B}_t^c(m)$を導入する。
  
• 評価：ResNet等で実験して確かめた。
  

1. 画像や数式は論文から引用しています。 ↩