原文
ネットワーク内包ネットワーク (Network In Network)
Min Lin (2014)
1. 要約／背景
- NIN(Network in Network)とは、入力層の活性化関数の代わりに、小さいNNを用いたモデルのことである。
- Micro Networkの活用により、学習精度の向上と汎化誤差の低減が認められた。
- CNNでは、高次の特徴を抽出する際、込み入った中間層の形成がポイントになるが、NINではこの効果も期待できる。
2. 骨子の理論
(1)畳込み層における変化
一般的なCNNは、畳込み層において、GLMによる線形演算をベースにプーリング層に引き渡す。
一方で、NINでは、Mlpconv(Multi layer perception convolutional)層を形成して、小規模のNNのアウトプットがプーリング層へ引き渡される。
1 → n層の多層NNの処理を引渡し時に行う
f^1_{i,j,k_1} = \max(w_{k_1}^1 {}^Tx_{i,j}+ b_{k_1}, 0)\\
.\\
.\\
.\\
f^n_{i,j,k_n} = \max(w_{k_n}^n {}^Tf_{i,j}^{n-1} + b_{k_n}, 0)
(2)総平均プーリング
従来CNNの全結合層に取って代わるモデル。頑健性を高める。
Mlpconvで出力した特徴ベクトルの平均を取り、それを直接ソフトマックス関数に入れ込んだ。
3. モデル適用例
頑健性という点において、精度としてDropConnectなどの手法と拮抗する感じ。
CIFAR-100のテストでは、NINにDropoutを組み合わせたモデルが最も良いパフォーマンスを出した。
