ICML2024の量子化・枝刈り論文

概要

この記事では、ICML2024の量子化・枝刈り論文を紹介します。¹

Outlier-aware Slicing for Post-Training Quantization in Vision Transformer

• https://openreview.net/forum?id=Uh5XN9d2J4

• 概要：PTQの改善

• 新規性："Reconstraction granularity"の導入

• キモ：量子化誤差最適化の粒度は、Transformer-likeは粗く、それ以外は細かくする。
  

ERQ: Error Reduction for Post-Training Quantization of Vision Transformers

• https://openreview.net/forum?id=jKUWlgra9b

• 概要：PTQの改良

• キモ：Aqerは(8)で重みを補正する。Wqerではチャネル毎に丸めの向きを最適化する
  

LayerMerge: Neural Network Depth Compression through Layer Pruning and Merging

• https://openreview.net/forum?id=uDoy7AGvEC

• 概要：DNNのレイヤをマージして軽量化する

• 新規性：Fig.2 のようなマージを最適に求める

• キモ：(4)式と動的計画法で効率的に最適化問題を解く
  

Pruner-Zero: Evolving Symbolic Pruning Metric From Scratch for Large Language Models

• https://openreview.net/forum?id=1tRLxQzdep

• 概要：枝刈りの指標

• 新規性：演算の組み合わせの最適化で指標を探索する点

• キモ：Table 10を組み合わせた指標から、進化的アルゴで最適な組み合わせを探索する。スコアはLlama-2から実際に刈って確かめた
  

1. 画像や数式は論文から引用しています。 ↩