概要
F8Net: Fixed-Point 8-bit Only Multiplication for Network Quantization
概要：F8Net. INT8量子化で、掛け算でINT32を使わず8bitで行う。
新規性：誤差をわずかに抑える固定小数点フォーマットを提案し、PACTを使った学習方法を提案した。
キモ：
固定小数点の分母のパラメータFCを、値の分散からこのように決める。
PACT(クリッピングしながら量子化学習)で学習する。
評価：ResNet, MobileNetでPACT, LSQ, HAWQ-V3などと比較した。
8-bit Optimizers via Block-wise Quantization
日本語解説：https://github.com/arXivTimes/arXivTimes/issues/2094
概要：状態を8bitで保持できるオプティマイザ。メモリ量削減や学習の高速化に寄与する。
研究機関：Facebook
新規性：状態を8bitで保持するオプティマイザは初。PyTorchで2行で使えるようにした。
キモ：Block-wize quantization. ブロックごとに量子化する。
評価：GLUE (RoBERTa), ImageNet (ResNet, MoCo v2)で実験した。
Toward Efficient Low-Precision Training: Data Format Optimization and Hysteresis Quantization
概要：低精度学習のためのデータフォーマット最適化
新規性：量子化学習のために、(1)量子化フォーマットの最適化方法 (2)歴史的情報も使うヒストリシス量子化 を提案した。
キモ：
(1) 指数部と仮数部をレイヤ毎に最適化する。
(2) 重みが増えるか減るかで丸めモードを変える。
評価：ResNet, MobileNet, Transformer等で実験した。
SQuant: On-the-Fly Data-Free Quantization via Diagonal Hessian Approximation
概要：SQuant. 高速・高精度なデータなし量子化 (Data-Free Quantization)
研究機関：Microsoft, Alibaba
新規性：従来のデータなし量子化より精度が良い。
キモ：量子化誤差を最小にするために重みのヘッシアンで最適化する。途中に表れる$E[x^l {x^l}^T]$を$E+K+C$（それぞれ、対角項、幅$K$の項、チャネル毎の項）で近似する。
評価：ResNet, ShuffleNet等で8bitで比較した。
Information Bottleneck: Exact Analysis of (Quantized) Neural Networks
概要：DNNを分析する方法。Information Bottleneck (IB)に関する。Information bottleneck principle は、DNNでは、レイヤの入出力の相互情報量で計算され、オーバーパラメータなDNNがなぜ汎化性能が高いかを説明するのに使われる。
新規性：IBの理論は、Floatの32bitのビンによる量子化誤差に起因するのではないかという意見に対して反論した。
キモ：DNNを量子化してIBを計算してもFloatと大体形が同じことから、量子化ビンの影響はないと主張した。
| Float | INT8 |
|---|---|
 |
 |
QDrop: Randomly Dropping Quantization for Extremely Low-bit Post-Training Quantization
概要：QDROP. 超低ビット量子化の改善
新規性：2bit等の超低ビットだとPTQがうまくいかない傾向にある課題に対して、量子化に対するactivationの摂動の影響を始めて調べた。
それに基づいて、ランダムに量子化をやめるQDROPを提案した。
キモ：Activationの量子化誤差の摂動をランダムに落としながら量子化学習する。
評価：ImageNet, COCO, GLUEで実験した。
-
画像や数式は論文から引用しています。 ↩