DeepLearning
深層学習
CNN
TensorFlow
ConvolutionalNeuralNetworks

畳み込みニューラルネット Part3 [TensorFlowでDeep Learning 6]

(目次はこちら)

はじめに

前回の記事では、単純な畳み込みニューラルネットに全結合層を追加して、ちょっとディープニューラルネットっぽくした。次回の記事では、これをまたさらに少し拡張してみようかと。

拡張:プーリング層(pooling layer)の追加

人間って、たとえ文字が回転していても、多少歪んでいても、それを何も意識せずに読むことができるが、それを計算機で実現しようとすると割りと大変。
これまでに書いた内容では、学習によって求められるパラメータ(ウェイト)は特定の位置専用のものとなっていて、データが少し移動してしまうだけで、うまく動かなくなってしまう。MNISTは比較的きれいなデータなので、まぁそこまで識別率が下がるわけではないけど。

で、この位置の変化についてロバストにしてくれる層が、プーリング層。この呼び方の由来は、一旦、特徴なりをプール(pool)しておいて、そこから代表的なものを選択or算出するので、プーリング(pooling)と呼ばれている。

このプーリング層で何をやるのかというと、データのサンプリング。以上。
画像データの場合だと、画像を縮小するという作業。なので、非常にシンプルな処理。

追加するとこんな感じ。
mnist_fixed_cnn_pl

次元が、28 x 28 x 2から14 x 14 x 2に変わっているのがわかる。実際の処理は、MaxPoolってやつで、2 x 2の領域から、値が最大のものを代表値としてサンプリングしている。なので、情報量というか次元が1/4になっている。最大値の他にも、平均にしたり、ちょっと複雑にしてみたりといろいろある。

なぜ、こんな処理でうまくいくのかというと、画像は小さいほうが移動が目立たないからという単純な理由。

プーリングは単純だけど、これだけで論文になるほど奥が深い。
http://cs.nyu.edu/~ylan/files/publi/boureau-icml-10.pdf

Y-Lan Boureau, Jean Ponce, and Yann LeCun, 
A theoretical analysis of feature pooling in vision algorithms,
Proc. International Conference on Machine learning (ICML'10), 2010

コード

mnist_fixed_cnn_pl.py

mnist_fixed_cnn_pl.py
from helper import *

IMAGE_WIDTH = 28
IMAGE_HEIGHT = 28
IMAGE_SIZE = IMAGE_WIDTH * IMAGE_HEIGHT
CATEGORY_NUM = 10
LEARNING_RATE = 0.1
FILTER_NUM = 2
BIAS_CONV = -0.1
FEATURE_DIM = 100
TRAINING_LOOP = 20000
BATCH_SIZE = 100
SUMMARY_DIR = 'log_fixed_cnn_pl'
SUMMARY_INTERVAL = 100

mnist = input_data.read_data_sets('data', one_hot=True)

with tf.Graph().as_default():
    with tf.name_scope('input'):
        y_ = tf.placeholder(tf.float32, [None, CATEGORY_NUM], name='labels')
        x = tf.placeholder(tf.float32, [None, IMAGE_SIZE], name='input_images')

    with tf.name_scope('convolution'):
        W_conv = prewitt_filter()
        b_conv = tf.constant([BIAS_CONV] * FILTER_NUM, dtype = tf.float32, name='bias_conv')
        x_image = tf.reshape(x, [-1, IMAGE_WIDTH, IMAGE_HEIGHT, 1])
        h_conv = tf.nn.relu(tf.abs(conv2d(x_image, W_conv)) + b_conv)

    with tf.name_scope('pooling'):
        scale = 1 / 4.0
        h_pool = max_pool_2x2(h_conv)

    with tf.name_scope('fully-connected'):
        W_fc = weight_variable([int(IMAGE_SIZE * scale * FILTER_NUM), FEATURE_DIM], name='weight_fc')
        b_fc = bias_variable([FEATURE_DIM], name='bias_fc')
        h_pool_flat = tf.reshape(h_pool, [-1, int(IMAGE_SIZE * scale * FILTER_NUM)])
        h_fc = tf.nn.relu(tf.matmul(h_pool_flat, W_fc) + b_fc)

    with tf.name_scope('readout'):
        W = weight_variable([FEATURE_DIM, CATEGORY_NUM], name='weight')
        b = bias_variable([CATEGORY_NUM], name='bias')
        y = tf.nn.softmax(tf.matmul(h_fc, W) + b)

    with tf.name_scope('optimize'):
        cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1]))
        train_step = tf.train.GradientDescentOptimizer(LEARNING_RATE).minimize(cross_entropy)

    with tf.Session() as sess:
        train_writer = tf.train.SummaryWriter(SUMMARY_DIR + '/train', sess.graph)
        test_writer = tf.train.SummaryWriter(SUMMARY_DIR + '/test', sess.graph)

        correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
        accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
        train_accuracy_summary = tf.scalar_summary('accuracy', accuracy)
        test_accuracy_summary = tf.scalar_summary('accuracy', accuracy)

        sess.run(tf.initialize_all_variables())
        for i in range(TRAINING_LOOP + 1):
            batch = mnist.train.next_batch(BATCH_SIZE)
            sess.run(train_step, {x: batch[0], y_: batch[1]})

            if i % SUMMARY_INTERVAL == 0:
                print('step %d' % i)
                summary = sess.run(tf.merge_summary([train_accuracy_summary]), {x: batch[0], y_: batch[1]})
                train_writer.add_summary(summary, i)
                summary = sess.run(tf.merge_summary([test_accuracy_summary]), {x: mnist.test.images, y_: mnist.test.labels})
                test_writer.add_summary(summary, i)

コードの説明

変更が入った部分を。

プーリング層

追加された層。

    with tf.name_scope('pooling'):
        scale = 1 / 4.0
        h_pool = max_pool_2x2(h_conv)

全結合層

プーリング層の出力を入力にする変更。それに伴って入力の次元が変わっているのでその変更。

    with tf.name_scope('fully-connected'):
        W_fc = weight_variable([int(IMAGE_SIZE * scale * FILTER_NUM), FEATURE_DIM], name='weight_fc')
        b_fc = bias_variable([FEATURE_DIM], name='bias_fc')
        h_pool_flat = tf.reshape(h_pool, [-1, int(IMAGE_SIZE * scale * FILTER_NUM)])
        h_fc = tf.nn.relu(tf.matmul(h_pool_flat, W_fc) + b_fc)

となって、変更量は非常に少ない。

結果

テストデータ(青線)での識別率は、98.1%程度。
ようやく、多層パーセプトロンでの結果(97.8%)を超えてきた。
result mnist_fixed_cnn_pl

あとがき

今回は、前回の記事で紹介したフィルタを固定した畳み込みニューラルネットワークに、プーリング層を追加してみました。次回の記事では、これをさらに拡張してみます。