概要

PruningにはUnstractured PruningとStructured Pruningがある。

前者はPruningの仕方に制限が無いため精度は保ちやすいが、並列化が難しく高速化が難しい。

一方、後者は規則的にPruningする為精度は落ちやすいが、並列化しやすくGPUなどでも比較的高速化しやすい。

今回はStructured Pruning for Deep Convolutional Neural Networks: A surveyを元に高速化されやすいStructured Pruningについて大まかにまとめる。

以下の図はPruningの分類である

2.1 Weight-Dependent

convolutionのweightの値によってfilterの重要度を推定

2.1.1 Filter Norm

PFEC(2017)

filterのL1 distanceが小さい順にPruningする

2.1.2 Filter Correlation

FPGM

必ずしもnormが小さいfilterの重要度が低いという訳ではなく、似たようなnormが冗長的でという事に気づいた。

2.2 Activation-Based

Activation(layerの出力)によってfilterの重要度を推定

2.2.1 Current Layer

現在のlayerのみでfilterの重要度を推定

CP(2017)

channelをPruneした場合の出力と元の出力の差を計算する。小さい物からPruningしていく。

2.2.2 Adjacent Layers

前後のlayerでfilterの重要度を推定

ThiNet(2017)

(l+1)番目のlayerの重要度が低いChannelを見つけて、そのChannelを出力する為に寄与したfilterをl番目のlayerから削除する。

2.2.3 All Layer

モデル最終的な出力な変化によってfilterの重要度を推定

NISP

最後のlayer(Final Response Layer)の値のReconstruction Errorを最小化するようにpruniningする。そのぞれのChannelに対してReconstruction Errorを計算するのはコストが高い為、後方のlayerから一つ前のlayerにimportance scoreを伝播させていく事で計算コストをさげる。