ICCV2023の量子化論文 (2)

概要

この記事では、ICCV2023の量子化論文を紹介します。¹
その1

Randomized Quantization: A Generic Augmentation for Data Agnostic Self-supervised Learning

• 概要：Contrastive learning向けでドメインに依らず使えるData augmentation方法
• 研究機関：Microsoft
• 新規性：ランダム量子化する。Fig. 1, 2

Overcoming Forgetting Catastrophe in Quantization-Aware Training

• 概要：QATの改善
• 新規性：QATで連続で学習する時に現れる壊滅的忘却を防ぐ方法を理論から考えた。
• キモ：(1)壊滅的忘却の原因は量子化の探索空間のシフトから生じると分析。(2)シフトqを最小化するために、探索空間を前と近くするようにする(ProxQ)。(3)前のデータと次のデータのバランスを取って量子化するようにした((BaLL)Loss)

ResQ: Residual Quantization for Video Perception

• 概要：動画処理の高速化
• 研究機関：Qualcomm
• 新規性：2フレーム間の差分が量子化しやすいことに気づき(Fig. 1)、量子化方法を提案した。
  
• キモ：Fig. 4で推論する。
  

Causal-DFQ: Causality Guided Data-free Network Quantization

• 概要：データ無し量子化。
• 研究機関：Cisco
• 新規性：データ生成と量子化による劣化をモデル化するために因果的推論を使った。

1. 画像や数式は論文から引用しています。 ↩