CVPR2022の量子化論文 (3)

概要

この記事では、CVPR2022の量子化論文を紹介します。¹
その1 その2

Instance-Aware Dynamic Neural Network Quantization

概要：DQNet. 画像毎に量子化ビット数を変える量子化
研究機関：Huawei
新規性：Bit-Controllerが重みとActivationのビット数を指定する。

キモ：学習時、各レイヤは、Bit-Controllerが指定したビット数でQATする。

演算回数をロスに入れて最適化する。
評価：ResNetやMobileNetV2で実験した。

Data-Free Network Compression via Parametric Non-uniform Mixed Precision Quantization

概要：PNMQ. データフリー量子化
研究機関：Huawei
新規性：学習やデータが不要で精度の良い量子化。
キモ：重みの量子化誤差を最小化するシンプルな方法。CSR(圧縮率)を指定して圧縮する。

評価：ResNet, MobileNetV2で実験した。

Channel Balancing for Accurate Quantization of Winograd Convolutions

概要：Winogradによる畳み込み計算の量子化による精度劣化を抑制する方法。
研究機関：Huawei
新規性：Winogradの入力とフィルタのレンジをバランスさせる方法を提案した。

キモ：テンソルと重みにスケーリング係数$\Omega$を掛ける。

評価：ResNetで実験した。

1. 画像や数式は論文から引用しています。 ↩