search
LoginSignup
4

posted at

updated at

ECCV2022の量子化論文 (1)

概要

この記事では、ECCV2022の量子化論文を紹介します。1

Synergistic Self-supervised and Quantization Learning

概要:SSQL. 量子化学習とSSL(自己教師有り学習)を組合せたもの。
新規性:量子化フレンドリーな特徴を学習し、下流タスクに適用できるようにした。
キモ:エンコーダ$f$と量子化したものとでロス計算する。
image.png
本ロスを小さくすれば、量子化ロスとSSLのロスを両方小さくできる。
image.png
評価:ResNet-18等で実験した。
image.png

Fine-grained Data Distribution Alignment for Post-Training Quantization

概要:FDDA. ゼロショット(データを使わない)量子化の方法。
新規性:合成データを使うゼロショット量子化で、低ビットでも精度を落とさない。
キモ:BN統計量の近さ、ばらつきに着目したこのようなロスでデータ合成し、クラス間の類似性やクラス内の多様性も表現できるようにする。

  • $\mathcal{L}_{BNS}^G $ はBN統計量を合わせるロス。
  • $\mathcal{L}_{D-BNS}^G$は、同じクラス内でもばらつきをもたせるロス。
  • $\mathcal{L}_{C-BNS}^G$は、同じクラス間で近づけるロス。
    image.png
    評価:ResNet-18, MobileNet等に適用した。

Patch Similarity Aware Data-Free Quantization for Vision Transformers

概要:PSAQ-ViT. Vision Transformerへのデータ無し量子化適用。
新規性:従来のデータ無し量子化は、キャリブレーション用データ生成がBN統計量ベースだったが、BNのないViTでも適用できるようにした。
キモ:TransformerはMulti Head Attentionで前景パッチにattentionが当たりやすい観察から、パッチ間の類似性が入力データの特徴として使えるという仮説を見出し、ロス$\mathcal{L}_{PSE}$を最適化するとうまいキャリブレーション画像が作られるようにした。
評価:ViT, DeiT, Swin-Transformerで実験した。

  1. 画像や数式は論文から引用しています。

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
What you can do with signing up
4