CVPR2023の枝刈り論文 (2)

概要

この記事では、CVPR2023の枝刈り論文を紹介します。¹
その1

Pruning Parameterization with Bi-level Optimization for Efficient Semantic Segmentation on the Edge

• 概要：エッジ向けセマセグViTの最適化。
• 新規性：TopFormerで枝刈りパラメータをbi-level optimizationで最適化する。

Joint Token Pruning and Squeezing Towards More Aggressive Compression of Vision Transformers

• 概要：TPS. Vision Transformer向け枝刈りの改善
• 研究機関：MEGVII
• 新規性：刈られたトークンの情報を有効活用する
• キモ：Fig2(c)の形にNNで似た特徴量にマッチングする。

DepGraph: Towards Any Structural Pruning

• 概要：Structured pruningでレイヤ間でチャンネル数の依存がある場合に対応する
• 研究機関：Huawei
• 新規性：(4)式でグループ単位で刈る
• キモ：グループのFig.1のような依存関係をdependency graphとして自動生成する
  

おまけ

TopFormer: Token Pyramid Transformer for Mobile Semantic Segmentation (CVPR2022)

• 概要：セマセグ向けモバイル用ViT
• 新規性：Fig. 2

1. 画像や数式は論文から引用しています。 ↩