CVPR2023の枝刈り論文 (1)

概要

この記事では、CVPR2023の枝刈り論文を紹介します。¹

X-Pruner: eXplainable Pruning for Vision Transformers

• 概要：X-Pruner. Vision Transformer向け枝刈り
• 新規性：枝刈りの基準の説明性を考慮して設計した。
• キモ：各マスクのクラスへの寄与を測る。

Training Debiased Subnetworks With Contrastive Weight Pruning

• 概要：DCWP. 偏りのある（データと特徴に誤った偏りのある）ニューラルネットワークの理論的考察
• 新規性：偏りのあるニューラルネットワークの部分ネットワークに最適なニューラルネットワークがあるかの理論的考察。

CP3: Channel Pruning Plug-In for Point-Based Networks

• 概要：ポイントクラウド向け3次元DNNのチャンネル枝刈り
• 新規性：2次元の枝刈りの方法を3次元でも効果的に扱えるようにする。
• キモ：チャンネル重要度にFig. 1の2)3)の重要度を加える。
  

Global Vision Transformer Pruning With Hessian-Aware Saliency

• 概要：NViT. 刈りやすいViT
• 研究機関：NVIDIA
• 新規性：DeiTからGlobal Pruningして小さなブロックの組み合わせによるモデルNViTを提案した。
• キモ：DeiTからHessian-based structure pruningする。

Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures

• 概要：枝刈りと帰納バイアスの関係をResNetで解析した。

1. 画像や数式は論文から引用しています。 ↩