1. 概要
分布修正蒸留（DRD）に基づいた低ビット量子化DETR（Q-DETR）。経験的な分析により、Q-DETRのボトルネックはクエリ情報の歪みから生じることを発見した。
2. 新規性
最近の検出トランスフォーマー（DETR）は、物体検出の進歩をもたらしているが、リソース制約のあるデバイスでの適用には膨大な計算とメモリリソースが必要である。量子化は、ネットワークを低ビットのパラメータと操作で表現することで解決策として注目されている。しかし、既存の量子化手法を使用して低ビット量子化されたDETR（Q-DETR）を実行すると、性能が大きく低下する。本手法では、この問題について、分布修正蒸留（DRD）に基づいて取り組み、DRDを2層最適化問題として定式化した。これは、情報ボトルネック（IB）の原理をQ-DETRの学習に一般化することで導かれる。
3. 実現方法
内部レベルでは、クエリの分布整列を行い、自己情報エントロピーを最大化する。上位レベルでは、新しいフォアグラウンド感知型クエリマッチング手法を導入し、教師の情報を蒸留したい特徴に効果的に転送し、条件付き情報エントロピーを最小化する。
4. 結果
4ビットのQ-DETRは、ResNet-50バックボーンを使用したDETRを理論的に6.6倍高速化し、COCOデータセットで実数値の対応物よりもわずか2.6％の性能差で39.4％のAPを達成できる。