概要
この記事では、ECCV2022の枝刈り論文を紹介します。1
その1
Disentangled Differentiable Network Pruning
- 概要：学習による枝刈り
- 新規性：従来は幅・パラメータを同時最適化するため探索範囲が広くなってしまう課題に対して、幅とパラメータを別々に最適化するアプローチを提案した。
- キモ：Smoothなtop-kでマスクしながら学習する。
- 評価：ResNet, MobileNet, ImageNet等で実験した。精度はほぼ落ちない。
FairGRAPE: Fairness-aware GRAdient Pruning mEthod for Face Attribute Classification
- 概要：FairGRAPE. 枝刈りで、データのバイアス対策をしているもの。
- 新規性：枝刈り後にバイアスが生じることがある課題を解決する。
- キモ：データをグルーピングし、各グループのノードの重要度を考慮して枝刈りする。
- 評価：グループ毎のばらつきを含めて評価した。
Bayesian Optimization with Clustering and Rollback for CNN Auto Pruning
- 概要：ベイズ最適化による枝刈りの自動チューニング。
- 新規性：ベイス最適化は高次元になるとサンプル効率が落ちる課題を解決する。
- キモ：(1)クラスタリングで低次元に次元圧縮する。(2)精度悪化を防ぐためにロールバックアルゴリズムを使う。(高次元に戻す)
- 評価：MobileNetやResNetに適用して評価した。
Multi-Granularity Pruning for Model Acceleration on Mobile Devices
- 概要：JCW. 複数精度での枝刈り。
- 新規性：Channel pruningとweight pruning (Unstructured pruning)を組合せてトレードオフを改善する。
- キモ：チャネル数とsparsityのmulti-objective optimizationとして解く。
- 評価：MobileNetV1, V2, ImageNet等で確認した。
-
画像や数式は論文から引用しています。 ↩