ECCV2022の量子化論文 (4)

概要

この記事では、ECCV2022の量子化論文を紹介します。¹
その1 その2 その3

RDO-Q: Extremely Fine-Grained Channel-Wise Quantization via Rate-Distortion Optimization

• 概要：RDO-Q. 各レイに異なるビット数を割り当てる量子化。
• 新規性：各レイヤに異なるビット数を割り当てる方法で、線形時間なので強化学習のAutoQより高速。
• キモ：量子化誤差最小化問題をrate-distortion optimization problem (レート歪み最適化)として解く。
  
  
• 評価：ResNetやMobileNetV2で比較した。
  

PTQ4ViT: Post-Training Quantization Framework for Vision Transformers with Twin Uniform Quantization

• 概要：ViTのPTQ。
• 新規性：従来よりも高精度で精度劣化を1%未満(8bit)で抑えられる。
• キモ：行列積の量子化に着目する。
  1. Twin Uniform Quantization. 量子化幅を2つ用意する。
     
  2. Hessian最小化で量子化幅(scaling factor)を決める。
• 評価：ViT等で実験した。
  

Bitwidth-Adaptive Quantization-Aware Neural Network Training: A Meta-Learning Approach

• 概要：MEBQAT. ビット幅を動的に決めるOne-for-all系のQAT.
  
• 新規性：メタ学習とfew-shot trainingで未知データセットにも対応する。
• キモ：ビット幅とデータセット(classes)を両方最適化する。
  
• 評価：Cifar-10, MobileNetV2等で実験した。(精度はQATには及ばない)
  

1. 画像や数式は論文から引用しています。 ↩