ECCV2022の量子化論文 (3)

概要

この記事では、ECCV2022の量子化論文を紹介します。¹
その1 その2

Mixed-Precision Neural Network Quantization via Learned Layer-wise Importance

• 概要：量子化学習で、各レイヤのビット数を最適化し、かつQATであるもの。
• 新規性：HAWQv2はQAT的ではないが、本論文ではQAT的に探索できる。
• キモ：
  1. Imporance indicator (量子化の精度への寄与度)を学習する。
  2. 1を使ってビット最適化問題を整数計画問題として解く。
• 評価：MobileNet等で比較した。
  

Non-Uniform Step Size Quantization for Accurate Post-Training Quantization

• 概要：SQ. 対数量子化(ベル型に近い)によるPTQ。
• 新規性：線形量子化では、計算精度は表現精度と同じにするが、対数量子化では計算精度を表現精度より増やす。
• キモ：対数量子化では量子化の候補点が多いのでそこから最適な量子化点を取る。
• 評価：ImageNet, ResNet-18で評価した。
  

Towards Accurate Network Quantization with Equivalent Smooth Regularizer

• 概要：SQR, QSin. 量子化と等価な連続な正則化項。
• 研究機関：Huawei
• 新規性：量子化学習のうちQATではなく正則化項を使う方法において、MSQEの非連続な課題や、SinReQの範囲外の誤差が大きい課題を解決する。
• キモ：従来のMSQEと大小関係が近いかつ連続な指標QSimを提案した。
  
  
• 評価：ResNet-18, MobileNetV2, ImageNet, 4/8bitで実験した。
• 参考：Related worksでは、量子化の方法として、PTQ, QAT, 正則化による量子化学習の3つが挙げられている。

Explicit Model Size Control and Relaxation via Smooth Regularization for Mixed-Precision Quantization

• 概要：レイヤ毎に量子化精度を変える混合精度量子化で、連続的な正則化項で最適化するもの。
• 研究機関：Huawei
• 新規性：連続な正則化項によって最適化し、かつ、モデルの大きさに制約を明示的に入れられる。
• キモ：正則化項をこうする。
  
• 評価：ResNet-20, ImageNetや超解像タスクで実験した。

BASQ: Branch-wise Activation-clipping Search Quantization for Sub-4-bit Neural Networks

• 概要：低bit(4bit以下)量子化で、クリップ値を最適化する方法。
• 新規性：量子化パラメータ学習で良いLSQの課題である、Separable Convolutionに不安定な課題を解決する。
• キモ：クリッピング値$\alpha$に対してweight decay (L2正則化) を入れる。
  
• 評価：MobileNetV1, V2, ImageNetで実験した。

1. 画像や数式は論文から引用しています。 ↩