ICCV2023の量子化論文 (3)

概要

この記事では、ICCV2023の量子化論文を紹介します。¹
その1 その2

I-ViT: Integer-only Quantization for Efficient Vision Transformer Inference

• 概要：I-ViT. 整数演算のみのViT
• 新規性：Softmax, GELU, LayerNormもシフト演算化したShiftmax, ShiftGELU, I-LayerNormを提案
• キモ：expは近似で(13)、sqrtはニュートン法で(20)計算する

A2Q: Accumulator-Aware Quantization with Guaranteed Overflow Avoidance

• 概要：Accumulatorのビット数を下げる時のQATの改良
• 研究機関：AMD
• 新規性：量子化後にAccumulator(内積部分)のオーバフローを避けるようにQATする(Fig. 2)

RepQ-ViT: Scale Reparameterization for Post-Training Quantization of

Vision Transformers

• 概要：ViTの低ビット時の精度悪化改善

1. 画像や数式は論文から引用しています。 ↩