Pruning特集2024–2026(前半)（Vision分野）
ECCV 2024 / CVPR 2025 / CVPR 2026 / ICCV 2025 に採択されたPruning・圧縮関連の論文6本を紹介します。ニューロン剪定、構造化剪定と量子化の同時最適化、トークン剪定、生物模倣によるネットワーク構造学習まで、Visionモデルの効率化手法を俯瞰できる特集です。
目次
- SNP: Structured Neuron-level Pruning to Preserve Attention Scores（ECCV 2024）
- Isomorphic Pruning for Vision Models（ECCV 2024）
- GliaNet: Adaptive Neural Network Structure Learning with Glia-Driven（CVPR 2025）
- GETA: Automatic Joint Structured Pruning and Quantization（CVPR 2025）
- IF-Prune: Information-Flow Guided Token Pruning for Efficient Vision-Language Models（CVPR 2026）
- Variance-Based Pruning for Accelerating and Compressing Trained Networks（ICCV 2025 Oral）
忙しい方向けまとめ
| # | 論文 | 会議 | 剪定対象 | 手法の特徴 |
|---|---|---|---|---|
| 1 | SNP | ECCV 2024 | MSA内のQ/K/Vフィルタ次元 | attention scoreを保つニューロンレベル剪定 |
| 2 | Isomorphic Pruning | ECCV 2024 | ViT/CNNの全構造 | 同型構造ごとの分離ランキング |
| 3 | GliaNet | CVPR 2025 | ニューロン・接続 | グリア細胞模倣で学習中に構造最適化 |
| 4 | GETA | CVPR 2025 | 構造+ビット幅 | 量子化対応dependency graphでjoint最適化 |
| 5 | IF-Prune | CVPR 2026 | VLMの視覚トークン | information bottleneckで非情報トークン検出 |
| 6 | VBP | ICCV 2025 Oral | MLP隠れニューロン | 分散ベース剪定＋平均値再統合 |
Pruning手法の分類
ニューロンレベル剪定: SNPとVBPは、headやlayer単位ではなく個別のニューロン/フィルタを剪定対象にしています。SNPはattention score保持、VBPはactivation分散と平均値再統合が設計のポイントです。
構造レベル剪定: Isomorphic PruningとGETAは、ネットワーク全体の構造を対象にしています。Isomorphic Pruningは同型構造ごとの公平なランキング、GETAは量子化との同時最適化が特徴です。
トークン剪定: IF-Pruneは推論時の入力トークン数を減らすアプローチです。モデルの重みは変えず、不要なトークンを除去して計算量を削減します。
学習中の構造最適化: GliaNetは剪定とは異なり、学習プロセス自体に構造変化を組み込みます。post-hocではなく、学習と構造最適化を同時に行う点が他と異なります。
1. SNP: Structured Neuron-level Pruning to Preserve Attention Scores 解説
ECCV 2024 | Kyunghwan Shim, Jaewoong Yun, Shinkook Choi
概要
Vision Transformer（ViT）のMulti-Head Self-Attention（MSA）を圧縮するとき、従来はheadを丸ごと削除するhead pruningしかありませんでした。SNPは、headの中の個別のニューロン（フィルタ次元）を剪定対象にすることで、より細かい粒度でMSAを圧縮します。
はじめに
ViTの計算コストの多くをMSAが占めています。head pruningはhead単位で削除するため粒度が粗く、重要な情報を持つheadを丸ごと消すリスクがあります。一方、非構造化pruningは高速化に直結しません。headよりも細かく、かつ構造的に高速化できる粒度が必要でした。
図1: 問題の例
論文 Figure 1より
この図はImageNet-1K上でのモデルサイズ・速度・精度の関係を示しています。横軸がGFLOPs、縦軸がTop-1精度で、各円の大きさがパラメータ数を表します。
注目すべきは、従来のhead pruningやblock pruningで得られた圧縮モデルの位置です。DeiT-Smallを圧縮してもDeiT-Tinyに及ばない領域があります。SNPによるニューロンレベル剪定は、同じ計算量でより高い精度を実現し、パレートフロントを押し上げています。
提案手法
SNPのポイントは、MSA内部のQuery-Key-Valueをグラフ構造として捉えることです。
QueryとKeyのフィルタはattention scoreの計算に使われます。SNPはattention scoreへの寄与が小さいQuery-Keyフィルタペアを特定し、ペアごと削除します。具体的には、Query-Keyフィルタペア $(Q_i^h, K_i^h)$ の相関が低いものから剪定します。これによりattention score全体の分布変化を最小限に抑えます。
Valueフィルタは独立に処理できるため、head間の冗長性を基準に別途剪定します。
SNPは既存のhead pruningやblock pruningとも組み合わせ可能です。
図2: 提案手法の概念図
論文 Figure 2より
この図はSNPの剪定対象を示しています。(a)が従来のhead pruning、(b)がSNPのニューロンレベル剪定です。
(a)ではhead単位で丸ごと削除するため粒度が粗い。(b)のSNPでは、各headの中のフィルタ次元を個別に評価し、不要な次元だけを削除します。グラフ上の依存関係（Query-Keyのペア、残差接続など）を考慮して構造的整合性を保ちます。
評価実験
DeiT-Small + SNPはDeiT-Tinyより21.94%高速かつ1.12%高精度を達成。DeiT-Base + SNP + head pruningで80%のパラメータ・FLOPs削減、RTX3090で3.85倍、Jetson Nanoで4.93倍の高速化を実現しています。
結論
MSA内部のニューロンレベルでの構造化剪定を提案し、attention score分布を保ちながらViTを効率的に圧縮しました。head pruningとの併用も有効です。
実装: github.com/Nota-NetsPresso/SNP
参考文献: 「SNP: Structured Neuron-level Pruning to Preserve Attention Scores」, Kyunghwan Shim, Jaewoong Yun, Shinkook Choi, ECCV, 2024.
2. Isomorphic Pruning for Vision Models 解説
ECCV 2024 | Gongfan Fang, Xinyin Ma, Michael Bi Mi, Xinchao Wang（NUS）
概要
構造化剪定では、異なる種類のサブ構造（attention head、FFN、畳み込みフィルタなど）を同じ重要度基準で比較してランク付けします。しかし、構造の種類が違うと重要度スコアの分布自体が大きく異なるため、グローバルなランキングは不公平です。Isomorphic Pruningは、同型（isomorphic）の構造同士でのみランキング・比較を行うことで、この不公平を解消します。
はじめに
ViTやCNNの構造化剪定では「ranking-to-prune」が標準的です。全サブ構造の重要度スコアを計算してランク付けし、下位を削除します。ところが異なる種類のサブ構造は重要度スコアの分布が大きく異なります。例えばattention headのスコア分布とFFN層のスコア分布は桁が違うこともあり、単純にグローバルランキングすると一方が過剰に剪定されます。
図1: 問題の例
論文 Figure 2より
この図はDeiT-Baseの異なるサブ構造タイプ（QKV projection、Output projection、FFN1、FFN2）の重要度スコアの分布を並べたものです。
注目すべきは、各構造タイプのスコア分布が全く異なることです。QKVのスコアは比較的狭い範囲に集中し、FFN1は広く分散しています。グローバルにランク付けすると、スコアの低いタイプが過剰に剪定され、高いタイプはほとんど剪定されません。これが不公平な剪定の原因です。
一方、同じタイプの構造同士（isomorphic構造）は類似した分布を示すため、比較が公平です。
提案手法
Isomorphic Pruningは、同型の構造グループごとに分離してランキングと剪定を行います。具体的には以下の手順です。
- サブ構造をタイプ別にグループ化する（QKV、output projection、FFN1、FFN2など）。
- 各グループ内で重要度スコアに基づいて独立にランキングする。
- 各グループに対して同じ剪定比率を適用する。
手法自体は極めてシンプルで、既存のどの重要度基準（Taylor expansion、L2-normなど）にも適用できます。ViT専用のトリックに頼らず、CNNにもそのまま使えます。
図2: 提案手法の概念図
論文 Figure 3より
左がglobal pruning（全構造を一括ランキング）、右がIsomorphic Pruning（同型構造ごとに分離ランキング）の比較です。
Global pruningでは異なる色の構造（異なるタイプ）が混在してランク付けされ、あるタイプだけが過剰に削除されます。Isomorphic Pruningでは同じ色の構造内だけで比較するため、各タイプが均等に剪定されます。
評価実験
DeiT-Baseを剪定してDeiT-Tinyサイズにした場合、Top-1精度77.50%を達成し、DeiT-Tiny（74.52%）を約3ポイント上回っています。ConvNext-Tinyでは82.06%→82.18%とパラメータ・メモリ削減しながら精度向上しています。ViTとCNNの両方で一貫した改善が確認されています。
結論
異なるタイプの構造をグローバルに比較する不公平さを指摘し、同型構造ごとの分離ランキングというシンプルな解決策を示しました。ViT/CNNを問わず広く適用できます。
実装: github.com/VainF/Isomorphic-Pruning（Torch-Pruning v1.4.1にも統合済み）
参考文献: 「Isomorphic Pruning for Vision Models」, Gongfan Fang, Xinyin Ma, Michael Bi Mi, Xinchao Wang, ECCV, 2024.
3. GliaNet: Adaptive Neural Network Structure Learning with Glia-Driven 解説
CVPR 2025 | Haonan Han ほか
概要
従来のニューラルネットワークはM-Pモデル（ニューロン間の一方向伝搬）に基づいており、学習中にネットワーク構造が固定されています。GliaNetは脳のグリア細胞（Oligodendrocyte＝Oli、Astrocyte＝Ast）の役割を模倣し、学習中にネットワーク構造を適応的に最適化するGlia-Neuron（G-N）モデルを提案しています。
はじめに
脳の神経回路では、ニューロンだけでなくグリア細胞が信号伝達の最適化に重要な役割を果たしています。OligodendrocyteはMyelinを形成して効率的な信号伝達を担い、Astrocyteはシナプス結合の強度を調整します。
既存のネットワーク剪定は学習後のpost-hocな処理であり、学習中に構造を動的に変える仕組みがありません。NASは構造探索を行いますが、膨大な探索コストがかかります。
図1: 問題の例
論文 Figure 1より
この図は3種類のニューロンモデルを比較しています。
(a) M-Pモデル: ニューロン間の一方向伝搬のみ。構造は固定。(b) Astrocyte-Neuronモデル: Astrocyteが双方向通信でシナプス結合を調整するが、どのニューロンが信号伝達に関与するかの選択は行わない。(c) 提案のG-Nモデル: OliがMyelinレベルで「勝者ニューロン」を選択し、Astが接続強度を調整する。
M-PやA-Nモデルでは構造が固定されるか、ニューロン選択の仕組みがない。G-Nモデルは選択と調整を両方行える点が違います。
提案手法
G-Nモデルは3つのレベルで構成されます。
Instance level: 各ニューロンに対してOliがMyelinスコアを計算し、信号伝達に関与するかどうかを判定します。スコアが低いニューロンは抑制されます。
Group level: Oliが同一層内のニューロングループのMyelinパターンを協調的に決定します。どのニューロンの組み合わせが効果的かをグループ単位で最適化します。
Interaction level: Astが層間のシナプス結合の強度を動的に調整します。ニューロン間の通信を適応的に制御します。
GliaNetはこのG-Nモデルに基づいて構築され、学習中にネットワーク構造と接続が継続的に最適化されます。
図2: 提案手法の概念図
論文 Figure 2より
GliaNetの構造図です。各層にGliaユニット（Oli + Ast）が組み込まれ、学習中にニューロンの選択（Oli）と接続強度の調整（Ast）が動的に行われます。重要でないニューロンは自然に抑制され、構造が適応的に最適化されていきます。
評価実験
CIFAR-10/100、ImageNet-1Kでの画像分類に加え、COCO検出・セグメンテーションで評価されています。NAS手法やpruning手法と比較して、パラメータ数・FLOPs削減と精度のバランスで優位性を示しています。
結論
脳のグリア細胞の機能を模倣し、学習中にネットワーク構造を適応的に最適化するG-Nモデルを提案しました。post-hocな剪定やNASに頼らず、学習プロセス自体に構造最適化を組み込んでいます。
GitHub: 未記載
参考文献: 「GliaNet: Adaptive Neural Network Structure Learning with Glia-Driven」, Haonan Han et al., CVPR, 2025
4. GETA: Automatic Joint Structured Pruning and Quantization 解説
CVPR 2025 | Xiaoyi Qu, David Aponte, Colby Banbury, Daniel P. Robinson, Tianyu Ding, Kazuhito Koishida, Ilya Zharkov, Tianyi Chen
概要
構造化剪定と量子化は、モデル圧縮の2大手法ですが、通常は独立に適用されます。両方を同時最適化（co-optimization）できれば、より小さく高品質なモデルが得られるはずです。GETAは、量子化を考慮した依存グラフ解析と構造化スパースオプティマイザを組み合わせ、任意のDNNに対して自動的にjoint pruning-quantizationを実行するフレームワークです。
はじめに
既存のjoint pruning-quantization手法には3つの問題がありました。
(1) 多段パイプライン: 剪定比率とbit幅をまず決め、その後で圧縮モデルを再学習する。2段階が非互換な場合もあり、実行時間が長い。(2) ブラックボックス最適化: 全体の圧縮量を制御するハイパーパラメータチューニングが膨大。(3) アーキテクチャ汎化性の不足: 特定のモデル構造にしか対応できない。
図1: 問題の例
論文 Figure 1より: GETAフレームワークのパイプライン
この図はGETAの処理全体を示しています。Conv層、BN層、加算ノードを含むトレースグラフに対して、Quantization-Aware Dependency Graph（QADG）を構築し、量子化で追加される分岐ノード（attached/inserted branches）も含めた依存関係を自動解析します。
注目すべきは、量子化によってtrace graphに新しいノードが追加される点です。既存のdependency graphでは量子化のinserted branchesが考慮されておらず、依存関係が壊れます。GETAのQADGはこれを自動的に処理します。
提案手法
GETAの3つの柱は以下の通りです。
QADG（Quantization-Aware Dependency Graph）: 量子化を考慮したdependency graphで、任意のDNNに対してpruning探索空間を自動構築します。量子化の挿入ノードも含めた完全な依存関係を解析します。
QASSO（Quantization-Aware Structured Sparse Optimizer）: partially projected stochastic gradient法で、各層のbit幅制約を満たしながら構造的スパース性を誘導します。制約付き最適化を勾配法ベースで解きます。
Joint learning strategy: 剪定と量子化の間の解釈可能な関係を組み込みます。one-shot（all-at-once）で実行でき、多段パイプラインが不要です。
図2: 提案手法の概念図
論文 Figure 1の右側: QADGの構築とQASSOの動作
QADGが量子化ノードを含むdependency graphを自動構築し、QASSOが構造化スパース性をbit幅制約の下で最適化する流れです。多段パイプラインではなく、1回のトレーニングで剪定と量子化を同時に実行できます。
評価実験
CNN（ResNet系）とTransformer（DeiT、Swin Transformer）の両方で評価。ResNet-50では既存のjoint手法を精度で上回り、DeiT-Smallでは40%圧縮でTop-1精度の低下を1%以内に抑えています。
結論
量子化を考慮したdependency graph解析と構造化スパースオプティマイザで、任意のDNNに対して自動的にjoint pruning-quantizationを実行するフレームワークを提案しました。one-shotで動作し、多段パイプラインが不要です。
GitHub: 未記載
参考文献: 「Automatic Joint Structured Pruning and Quantization for Efficient Neural Network Training and Compression」, Xiaoyi Qu et al., CVPR, 2025.
5. IF-Prune: Information-Flow Guided Token Pruning for Efficient Vision-Language Models 解説
CVPR 2026 | Guohao Sun, Yufei Wang, Sizhuo Ma, Yuege Xie, Yuting Cheng, Zhiqiang Tao, Jian Wang（Snap Research）
概要
高解像度Vision-Language Model（VLM）は入力系列が長く、推論コストが大きい。既存のtoken pruning手法は、small VLMのaggregated attention weightsで重要度を推定しますが、生成トークンが不正確だとノイズの多い指針になります。IF-Pruneは発想を反転させ、small VLMに「どのトークンが非情報的か」を特定させることで、よりrobustな剪定を実現します。
はじめに
動的解像度のVision EncoderをもつVLMは高い精度を出しますが、視覚トークン数が非常に多くなります。token pruningは有力な高速化手段ですが、aggregated attentionベースの重要度推定はnoisyです。
図: アイデアの概要
IF-Pruneはsmall VLMにvariational information bottleneckを追加し、各視覚トークンのエントロピーを近似します。事前（a priori）の重要度推定ではなく、ユーザクエリに応じた事後的（a posteriori）な非情報トークンの特定を行います。
提案手法
IF-Pruneのアプローチは以下の通りです。
発想の反転: 既存手法は「重要なトークンを選ぶ」。IF-Pruneは「非情報的なトークンを検出する」。検出の方が、選択よりもrobustです。
Variational Information Bottleneck: small VLMにinformation bottleneckを追加し、各視覚トークンのエントロピーを近似します。エントロピーが高い（情報量が少ない）トークンを剪定対象にします。
a posteriori-guided pruning: ユーザの入力クエリに応じて非情報トークンが変わるため、クエリ依存の剪定が自然に実現されます。large VLMの推論能力を維持しつつ効率化できます。
図: 提案手法
Small VLMにinformation bottleneckが追加され、入力クエリに応じて各視覚トークンのエントロピーを推定します。エントロピーが高いトークンが除去され、残ったトークンのみがlarge VLMに入力されます。
評価実験
8つのベンチマークで評価。視覚トークンの5%のみ保持した状態で、元の性能の95%を維持し、SOTAを8%上回っています。
結論
VLMのtoken pruningにおいて、「重要なトークンを選ぶ」のではなく「非情報的なトークンを検出する」という発想の反転と、variational information bottleneckによるエントロピー推定を提案しました。5%のトークン保持で95%の性能を維持しています。
実装: github.com/snap-research/EVLM-IF-Prune
参考文献: 「IF-Prune: Information-Flow Guided Token Pruning for Efficient Vision-Language Models」, Guohao Sun et al., CVPR, 2026.
6. Variance-Based Pruning for Accelerating and Compressing Trained Networks 解説
ICCV 2025 Oral | Uranik Berisha, Jens Mehnert, Alexandru Paul Condurache（Robert Bosch GmbH / University of Lübeck）
概要
大規模な学習済みモデルの再利用が重要になっていますが、構造化剪定を適用すると精度が大きく落ち、回復に長時間の再学習が必要です。Variance-Based Pruning（VBP）は、activationの統計量（分散と平均）を使い、one-shotで構造化剪定を行いつつ、剪定直後から高い精度を保つ手法です。
はじめに
Vision Transformerなどの大規模モデルは学習コストが高いため、学習済みモデルを圧縮して再利用したい需要が強いです。しかし既存の構造化剪定は剪定後の精度低下が大きく、回復のために数十〜数百エポックの再学習が必要でした。
図1: 問題の例
論文 Figure 1より
この図はVariance-Based Pruningの3ステップを示しています。(a) activation統計量の収集、(b) 分散ベースの剪定、(c) 平均値の再統合。
注目すべきは (c) のステップです。剪定されたニューロンの平均activationをバイアスとして残りのネットワークに再統合します。これが剪定直後の精度保持に効いています。従来手法ではこの再統合がなく、剪定直後の精度低下が大きかった。
提案手法
VBPの考え方はシンプルです。
MLPの隠れ層ニューロンの出力 $a$ は、平均 $\mu_a$と分散 $\sigma_a^2$ で特徴づけられます。分散が小さいニューロンはほぼ定数値 $\mu_a$ を出力しており、非線形な情報をほとんど伝えていません。
VBPは以下の3ステップで動作します。
Step 1: Activation統計量の収集。少量のデータ（ImageNetの1%程度）でforward passを行い、各ニューロンのactivationの平均と分散を計算します。
Step 2: 分散ベースの剪定。分散が小さいニューロンを削除します。分散が小さい＝ほぼ定数＝非線形な情報をほとんど運んでいない、という判断です。
Step 3: 平均値の再統合。剪定されたニューロンの平均activation $\mu_a$ を、後続層のバイアス項に加算します。これにより、剪定されたニューロンが出していた定数的な寄与がネットワークに保存され、剪定直後の精度低下が大幅に抑えられます。
この3ステップはone-shotで実行でき、再学習なしでも高い精度を維持します。
図2: 再統合の効果
論文の実験結果より
DeiT-Baseを35%のMACs削減で剪定した場合、剪定直後（fine-tuning前）で元の精度の70%以上を保持。たった10エポックのfine-tuningで元の精度の99%まで回復し、1.44倍の高速化を実現しています。
評価実験
ImageNet-1KでDeiT-Base/Small/Tiny、Swin Transformer、ResNetを評価。DeiT-Baseで35% MACs削減・36%モデルサイズ削減を10エポックのfine-tuningで達成。ICCV 2025のOral発表に選出されています。
結論
activationの分散が小さいニューロンを削除し、その平均値をバイアスとして再統合するというシンプルな手法で、one-shot構造化剪定の精度低下を大幅に抑えました。10エポックのfine-tuningで元の精度の99%を回復できます。
実装: github.com/boschresearch/variance-based-pruning
参考文献: 「Variance-Based Pruning for Accelerating and Compressing Trained Networks」, Uranik Berisha, Jens Mehnert, Alexandru Paul Condurache, ICCV (Oral), 2025.