ECCV2022の枝刈り論文 (1)

概要

この記事では、ECCV2022の枝刈り論文を紹介します。¹

Prune Your Model Before Distill It

• 概要：枝刈りしてから蒸留する方法の提案
• 新規性：Unstructured枝刈りからの蒸留で効果が上がることを示した。理論解析し、枝刈りはlabel smoothと同じ効果があることを示した。
• キモ：枝刈り(Sparsityによる正則化)はlabel smoothより重みが平均的に小さくなるため蒸留しやすくなると主張した。
  
• 評価：ResNet〜MobileNetV2で実験した。
  

CPrune: Compiler-Informed Model Pruning for Efficient Target-Aware DNN Execution

• 概要：CPrune. TVMなどで、コンパイラに枝刈り情報を通知して最適化する枝刈り。
• 新規性：モデル圧縮とコンパイラ最適化を別々にせずくっつける。
• キモ：中間表現に分類して最適化する。
  
• 評価：TVMでCPU, GPUで実験した。
  

1. 画像や数式は論文から引用しています。 ↩