ICCV2023の枝刈り論文

概要

この記事では、ICCV2023の枝刈り論文を紹介します。¹

Prune Spatio-temporal Tokens by Semantic-aware Temporal Accumulation

• 概要：動画認識向けTransformerの枝刈り
• 研究機関：Huawei
• 新規性：STA. 意味を考慮した枝刈り
• キモ：(1)時間方向は領域ベースで新しく現れた領域を刈る。(2)意味の重要度は、各トークンの予測全体への寄与を計算する

Efficient Joint Optimization of Layer-Adaptive Weight Pruning in Deep Neural Networks

• 概要：設定された枝刈り率を維持しながらレイヤ最適に刈り、出力の歪みを最小化する
• 新規性：全部のレイヤを見て、全体への誤差が最小になるように(11)レイヤ毎の最小誤差$\delta_i$を決める

Dynamic Token Pruning in Plain Vision Transformers for Semantic Segmentation

• 概要：セマセグ向けVision TransformerのDynamic (実行時)枝刈り
• 新規性：注意されていないトークンを除く方法。分類タスクをセマセグに拡張した
• キモ：Fig. 2. Confidenceが高いトークンは推論を早く打ち切る

1. 画像や数式は論文から引用しています。 ↩