#背景

これまでの画像認識タスク
- 深く大きい畳み込みニューラルネット
- 数十億FLOPSの計算
Shuffle Netは
- 限られた計算量で性能を求めるCNN architecture
- 数十~数百MFLOPSの計算
- Channel Shuffle + Group Convolution
- Xception とResNeXtの1x1Convの非効率さからアイデアを得る

#ShuffleNet

Figure2: Shuffle Net Unit
a) bottleneck unit with depth-wise convolution
b) ShuffleNet unit with pointwise group convolution
c) ShuffleNet unit with stride = 2

Group Convolutions

###それぞれのConvolutionの計算量 (B)

###Xception とResNeXtの1x1Convの非効率さ
1x1Conv, 3x3depth-wise, 1x1Conv の計算量

$B = hwm(c + k^2 + c)$

###ResNet(1x1conv, 3x3conv, 1x1convの計算量)

$B = hw(cm + 9m^2 + cm) = hw(2cm+9m^2)$

$B_{1\times1conv} = hwcm$
$B_{3\times3 conv} = hwcmk^2$
$B_{1\times1conv} = hwcm$

###ResNeXt(1x1conv, 3x3Gconv, 1x1convの計算量)

$B = hw(cm + \frac{9m^2}{g} + cm) = hw(2cm+\frac{9m^2}{g})$

$B_{1\times1conv} = hwcm$
$B_{3\times3 Gconv} = \frac{hwm^2k^2}{g}$
$B_{1\times1conv} = hwcm$

###ShuffleNet(1x1Gconv, 3x3dwconv, 1x1Gconvの計算量)

$B = hw(\frac{cm}{g} + 9m + \frac{cm}{g}) = hw(\frac{2cm}{g}+9m)$

$B_{1\times1Gconv} = \frac{hwcm}{g}$
$B_{3\times3 dwconv} = hwk^2m$
$B_{1\times1conv} = hwcm$

Channel Shuffle

Table1: ShuffleNet architecture

#モデル評価

Pointwise Group Convolution

Table2: Classification error vs. number of groups g

gが増えることでclassification errorが減っていることがわかる
0.5x : g=8の時飽和している
- gが増えるにつれ、畳み込みフィルタの入力チャネルが少なくなってしまうため？
0.25x : gが大きいほど性能が良い
- 小さいモデルでは広い特徴マップを取ることで良い結果が出る

Channel Shuffle vs No Shuffle

cross-group information interchange

Table3: ShuffleNet with/withoutchannel shuffle

全体的にShuffleした方が良い結果が出たといえる
gが大きい方が良い結果が出ている
- gを増やすことでシャッフルがよりたくさん行われる

Comparison with Other Structure Units

Stage 2-4のShuffleNet unitsをそれぞれ他のstructureに置き換える
channel数を調節してcomplexityを調節

table 4: classficiation error vs various structure

table 6: Complexity comparison

圧倒的に小さいcomplexityで同じような性能を出すことができる

Comparison with MobileNets and Other Frameworks

table 5: ShuffleNet vs. MobileNet on ImageNet Classification

Shuffle Net > MobileNet for all complexities
Shuffle Netは深さではなく効率の良い構造で良い精度を出している

table 7: Object detection results on MS COCO

#推論時間

table 8: actual inference time on a mobile device