三行
- 特徴マップの生成に CNN ではなく micro MLP を使った
- micro MLP は平均値プーリングとして機能し、かつ、過剰学習を防げた
- CIFAR-10, CIFAR-100 の弁別課題と SVHN および MNIST の成績を示す
Abstract
新しい Deep Network 「Network In Network (NIN)」を提案する。これは、受容野の中のローカルパッチの弁別性を強調する。
従来の Convolutional 層では、入力をスキャンする非線形活性化関数の後に線形フィルタを利用している。
本モデルでは、ミクロなニューラルネットワークを構築し、受容野のデータの抽象化を行うためのより複雑な構造に組み込んだ。
具体的にはミクロなニューラルネットワークとして強力な関数近似が可能な多層パーセプトロン (MLP) を利用している。
CNN と同じような方法で入力を通してミクロなネットワークを移動させることで特徴マップが得られる。得られた特徴マップを次段の入力として利用する。
Deep NIN は上記の構造を複数段積み重ねて実装することができる。
ミクロネットワークでエンハンスされたローカルモデリングを利用することで、特徴マップ全域でのグローバルな平均値プーリングを弁別層で利用できるようになり、伝統的な全結合層の過剰学習を抑止することが可能になった。
CIFAR-10 および CIFAR-100 における NIN の最先端の分類課題に対する成績および SVHN と MNIST データセットに対する妥当な成績を示す。
本文
CNN -> NLP
学習方法
- 通常の誤差逆伝播法が利用可能
$f_{i,j,k_1}^1 = \max(w_{k_1}^{1 \mathrm{T}} x_{i,j} + b_{k_{1}}, 0)$
...
$f_{i,j,k_n}^n = \max(w_{k_n}^{n \mathrm{T}} f_{i,j}^{n-1} + b_{k_{n}}, 0)$
$n$ は、 MLP の中の層の番号。活性化関数としては Relu を利用
成績
- MNIST で若干テストエラーが Conv. Maxout + Dropout (0.45%) に至らなかった(0.47%)とは言え、CIFAR ではもっともよい成績だった