Help us understand the problem. What is going on with this article?

[論文] Network In Network

More than 3 years have passed since last update.

Network In Network の紹介

三行

  1. 特徴マップの生成に CNN ではなく micro MLP を使った
  2. micro MLP は平均値プーリングとして機能し、かつ、過剰学習を防げた
  3. CIFAR-10, CIFAR-100 の弁別課題と SVHN および MNIST の成績を示す

Abstract

新しい Deep Network 「Network In Network (NIN)」を提案する。これは、受容野の中のローカルパッチの弁別性を強調する。
従来の Convolutional 層では、入力をスキャンする非線形活性化関数の後に線形フィルタを利用している。
本モデルでは、ミクロなニューラルネットワークを構築し、受容野のデータの抽象化を行うためのより複雑な構造に組み込んだ。
具体的にはミクロなニューラルネットワークとして強力な関数近似が可能な多層パーセプトロン (MLP) を利用している。
CNN と同じような方法で入力を通してミクロなネットワークを移動させることで特徴マップが得られる。得られた特徴マップを次段の入力として利用する。
Deep NIN は上記の構造を複数段積み重ねて実装することができる。
ミクロネットワークでエンハンスされたローカルモデリングを利用することで、特徴マップ全域でのグローバルな平均値プーリングを弁別層で利用できるようになり、伝統的な全結合層の過剰学習を抑止することが可能になった。
CIFAR-10 および CIFAR-100 における NIN の最先端の分類課題に対する成績および SVHN と MNIST データセットに対する妥当な成績を示す。

本文

CNN -> NLP

image

学習方法

  • 通常の誤差逆伝播法が利用可能

$f_{i,j,k_1}^1 = \max(w_{k_1}^{1 \mathrm{T}} x_{i,j} + b_{k_{1}}, 0)$
...
$f_{i,j,k_n}^n = \max(w_{k_n}^{n \mathrm{T}} f_{i,j}^{n-1} + b_{k_{n}}, 0)$

$n$ は、 MLP の中の層の番号。活性化関数としては Relu を利用

成績

  • MNIST で若干テストエラーが Conv. Maxout + Dropout (0.45%) に至らなかった(0.47%)とは言え、CIFAR ではもっともよい成績だった
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away