1. 概要

分布修正蒸留（DRD）に基づいた低ビット量子化DETR（Q-DETR）。経験的な分析により、Q-DETRのボトルネックはクエリ情報の歪みから生じることを発見した。

2. 新規性

最近の検出トランスフォーマー（DETR）は、物体検出の進歩をもたらしているが、リソース制約のあるデバイスでの適用には膨大な計算とメモリリソースが必要である。量子化は、ネットワークを低ビットのパラメータと操作で表現することで解決策として注目されている。しかし、既存の量子化手法を使用して低ビット量子化されたDETR（Q-DETR）を実行すると、性能が大きく低下する。本手法では、この問題について、分布修正蒸留（DRD）に基づいて取り組み、DRDを2層最適化問題として定式化した。これは、情報ボトルネック（IB）の原理をQ-DETRの学習に一般化することで導かれる。

3. 実現方法

内部レベルでは、クエリの分布整列を行い、自己情報エントロピーを最大化する。上位レベルでは、新しいフォアグラウンド感知型クエリマッチング手法を導入し、教師の情報を蒸留したい特徴に効果的に転送し、条件付き情報エントロピーを最小化する。

4. 結果

4ビットのQ-DETRは、ResNet-50バックボーンを使用したDETRを理論的に6.6倍高速化し、COCOデータセットで実数値の対応物よりもわずか2.6％の性能差で39.4％のAPを達成できる。

Paper URL:
https://openaccess.thecvf.com/content/CVPR2023/papers/Xu_Q-DETR_An_Efficient_Low-Bit_Quantized_Detection_Transformer_CVPR_2023_paper.pdf