ImageNet ｃlassification challengeのTest Setの結果がMicrosoftのResNetを超えたgoogleの論文
Microsoftはtop-5 errorが3.57%だったが、こちらは3.08%

論文のポイント
・Residual connectionを使った
・Residual connectionに改良を入れた(bottleneckを１ｘ７と７ｘ１にした)
・不安定対策でscalingを入れた

Residual Connection
MicrosoftのResNetはこんな感じ

Architecture

3つのArchitectureで評価を行っている。
Architecture毎の違いは下記の通り

Inception-ResNet-v1: InceptionとResNetのhybridで計算コストが少ない方
Inception-ResNet-v2: InceptionとResNetのhybridで計算コストが多い方
Inception-v4: ResNetなしでInceptionを改良したもの

Inception-v4

Inception-ResNet-v1 and Inception-ResNet-v2

ResNetを使ったVersionの全体図は下記の通り

各ブロックの図は論文にあるが数が多いので割愛。
ちなみにresidual connectionを使ったブロックは下記のような感じになっている。

scaling

filter数が１０００を超えると、学習が不安定になる（値が０になる）。
Microsoftの論文のようにwarm-upをしても改善しない。
この論文では、下の図のように残差を0.1から0.3の間で値をscale downしたら安定したらしい。
このScale downは不必要なものだけど、trainingの安定には役立ったと書いてあった。

Training Methodology

momentum 0.9
RMSProp decay 0.9 epsion 1.0
learning rate 0.045で2 epochごとに0.94倍

Experimental Results

・validationの時に、性能が悪くなる1700 blacklistデータを除いたもので行った。
・これらはbenchmarkを測定するときだけ使えばいい。
・最初の論文では含まれているので、差がtop-1で0.3%、top-5で0.15%でるけど、差が一定だからcurveの比較には問題ないと思う。

論文にはたくさん結果が掲載されているが、代表的なものだけ

Inception-v4とInception-ResNet-v2の比較
最終的な性能は同じぐらいだが、ちょっとだけresidual versionの方が性能がいい。あと、学習の収束が速い。

single modelの結果

ensembleの結果
Top-5 Errorで3.08%で、１位だったMicrosoftを上回っている

最後に

ものすごい力技のような気がするのは気のせいか。