ECCV2022の枝刈り論文 (3)

概要

この記事では、ECCV2022の枝刈り論文を紹介します。¹
その1 その2

Ensemble Knowledge Guided Sub-network Search and Fine-tuning for Filter Pruning

• 概要：NASベースの枝刈り。(NASで刈ってFine-tuneする)
• 新規性：(1) 探索時と探索後の精度が変わる (2)Fine-tuneが必要 な課題の対策をする。
  
• キモ：(1) ロスの面の変化が少ない場合は表現能力が高いことを実験的に示した。(2)EKG(アンサンブル)で高速に探す。
• 評価：ResNetで実験した。

SPViT: Enabling Faster Vision Transformers via Latency-aware Soft Token Pruning

• 概要：SPViT. Latency-awareで画像毎に最適化するタイプのViTの枝刈り
• 新規性：従来の画像毎に最適に枝刈りする方法は精度が落ちやすい課題を解決する。
• キモ：画像毎にMulti-headの各tokenの重要度$t_i$を算出する。
  
  
  全体のスコアをGumbelSoftmaxで出力する。
  
  Latencyとsparsityを考慮したロスで学習する。
  
• 評価：ImageNet, ViT系で従来と比較した。
  

Soft Masking for Cost-Constrained Channel Pruning

• 概要：SMCP. Channel枝刈りの改良
• 研究機関：NVIDIA
• 新規性：従来の枝刈り手法より精度・速度トレードオフが良い
  
• キモ：(1)チャンネル$i$の重要度$\mathcal{I}_i^{(l)}$を勾配$g$を使ってこのように近似し、複数選択可のナップサックで重要度を最大化するようにチャネルを選ぶ。
  
  (2)マスク値$m_i^{(l)}$で$\gamma$をこうスケールすると勾配が小さくなり、次の学習が安定する。
  
• 評価：ImageNet, PASCAL VOC, ResNet-50, MobileNetで比較した。

SuperTickets: Drawing Task-Agnostic Lottery Tickets from Supernets via Jointly Architecture Searching and Parameter Pruning

• 概要：SuperTickets. 軽量DNNのNAS探索と当たりくじを同時に見つける方法
• 新規性：軽量DNNのNAS探索と当たりくじを同時に見つける方法は初。従来のNASや枝刈りよりも精度・効率のトレードオフが良い。
• キモ：Algorithm 1. SuperNetから刈るのと枝刈りを交互にする。
  
• 評価：COCOやCityscapesでFig.1の(a)(b)と比較した。
  

Filter Pruning via Feature Discrimination in Deep Neural Networks

• 概要：Fliter pruningで、フィルタ重要度の判定の改良
• 新規性：フィルタ重要度としてRFC (Receiptive Field Criterion) を使う。
  
• キモ：受容野のActivationのクラス間の一様性が高いフィルタを刈る。
  
  
• 評価：ResNet50やMobileNet, CIFAR, ImageNetで実験した。
  

Interpretations Steered Network Pruning via Amortized Inferred Saliency Maps

• 概要：解釈性を使ったchannel pruning
• 新規性：解釈性を使ったchannel pruningで高速にできる。
• キモ：解釈性のモデルは、RBF-likeな関数でsaliencyを表現するモデルとする。
• 評価：ResNet, MobileNetV2, CIFAR-10, ImageNetで実験した。
  

1. 画像や数式は論文から引用しています。 ↩