DeepLearning
深層学習
CNN
TensorFlow
ConvolutionalNeuralNetworks

畳み込みニューラルネット Part6 [TensorFlowでDeep Learning 9]

More than 1 year has passed since last update.

(目次はこちら)

はじめに

前回の記事では、固定していた畳み込み層のウェイトも学習によって推定するようにした。今回は、さらに中間層を増やしてよりディープラーニングらしくしてみる。ただ、これは、ほぼ、TensorFlowのTutorialのDeep MNIST for Expertsなんですが。

中間層の追加

前回の記事でのモデルでは、1つだった畳み込み層をプーリング層とセットで、もう一組追加してみる。これは、TensorFlowのTutorialのDeep MNIST for Expertsと同等のもの。

mnist_cnn_ml

コード

mnist_cnn_ml.py

mnist_cnn_ml.py
from helper import *

IMAGE_WIDTH = 28
IMAGE_HEIGHT = 28
IMAGE_SIZE = IMAGE_WIDTH * IMAGE_HEIGHT
CATEGORY_NUM = 10
LEARNING_RATE = 0.01
FILTER_SIZE = 5
FILTER_NUM = 32
FILTER_NUM2 = 64
FEATURE_DIM = 1024
KEEP_PROB = 0.5
TRAINING_LOOP = 20000
BATCH_SIZE = 100
SUMMARY_DIR = 'log_cnn_ml'
SUMMARY_INTERVAL = 100

mnist = input_data.read_data_sets('data', one_hot=True)

with tf.Graph().as_default():
    with tf.name_scope('input'):
        y_ = tf.placeholder(tf.float32, [None, CATEGORY_NUM], name='labels')
        x = tf.placeholder(tf.float32, [None, IMAGE_SIZE], name='input_images')

    with tf.name_scope('convolution'):
        W_conv = weight_variable([FILTER_SIZE, FILTER_SIZE, 1, FILTER_NUM], name='weight_conv')
        b_conv = bias_variable([FILTER_NUM], name='bias_conv')
        x_image = tf.reshape(x, [-1, IMAGE_WIDTH, IMAGE_HEIGHT, 1])
        h_conv = tf.nn.relu(conv2d(x_image, W_conv) + b_conv)

    with tf.name_scope('pooling'):
        scale = 1 / 4.0
        h_pool = max_pool_2x2(h_conv)

    with tf.name_scope('convolution2'):
        W_conv2 = weight_variable([FILTER_SIZE, FILTER_SIZE, FILTER_NUM, FILTER_NUM2], name='weight_conv2')
        b_conv2 = bias_variable([FILTER_NUM2], name='bias_conv2')
        h_conv2 = tf.nn.relu(conv2d(h_pool, W_conv2) + b_conv2)

    with tf.name_scope('pooling2'):
        scale /= 4.0
        h_pool2 = max_pool_2x2(h_conv2)

    with tf.name_scope('fully-connected'):
        W_fc = weight_variable([int(IMAGE_SIZE * scale * FILTER_NUM2), FEATURE_DIM], name='weight_fc')
        b_fc = bias_variable([FEATURE_DIM], name='bias_fc')
        h_pool2_flat = tf.reshape(h_pool2, [-1, int(IMAGE_SIZE * scale * FILTER_NUM2)])
        h_fc = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc) + b_fc)

    with tf.name_scope('dropout'):
        keep_prob = tf.placeholder(tf.float32)
        h_drop = tf.nn.dropout(h_fc, keep_prob)

    with tf.name_scope('readout'):
        W = weight_variable([FEATURE_DIM, CATEGORY_NUM], name='weight')
        b = bias_variable([CATEGORY_NUM], name='bias')
        y = tf.nn.softmax(tf.matmul(h_drop, W) + b)

    with tf.name_scope('optimize'):
        cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1]))
        train_step = tf.train.GradientDescentOptimizer(LEARNING_RATE).minimize(cross_entropy)

    with tf.Session() as sess:
        train_writer = tf.train.SummaryWriter(SUMMARY_DIR + '/train', sess.graph)
        test_writer = tf.train.SummaryWriter(SUMMARY_DIR + '/test', sess.graph)

        correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
        accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
        train_accuracy_summary = tf.scalar_summary('accuracy', accuracy)
        test_accuracy_summary = tf.scalar_summary('accuracy', accuracy)

        sess.run(tf.initialize_all_variables())
        for i in range(TRAINING_LOOP + 1):
            batch = mnist.train.next_batch(BATCH_SIZE)
            sess.run(train_step, {x: batch[0], y_: batch[1], keep_prob: KEEP_PROB})

            if i % SUMMARY_INTERVAL == 0:
                print('step %d' % i)
                summary = sess.run(tf.merge_summary([train_accuracy_summary]), {x: batch[0], y_: batch[1], keep_prob: 1.0})
                train_writer.add_summary(summary, i)
                summary = sess.run(tf.merge_summary([test_accuracy_summary]), {x: mnist.test.images, y_: mnist.test.labels, keep_prob: 1.0})
                test_writer.add_summary(summary, i)

コードの説明

変更点を。

畳み込み層&プーリング層

畳み込み層とプーリング層をもうひとセット追加

    with tf.name_scope('convolution2'):
        W_conv2 = weight_variable([FILTER_SIZE, FILTER_SIZE, FILTER_NUM, FILTER_NUM2], name='weight_conv2')
        b_conv2 = bias_variable([FILTER_NUM2], name='bias_conv2')
        h_conv2 = tf.nn.relu(conv2d(h_pool, W_conv2) + b_conv2)

    with tf.name_scope('pooling2'):
        scale /= 4.0
        h_pool2 = max_pool_2x2(h_conv2)

全結合層

2番目のプーリング層の出力が、入力となるように変更

    with tf.name_scope('fully-connected'):
        W_fc = weight_variable([int(IMAGE_SIZE * scale * FILTER_NUM2), FEATURE_DIM], name='weight_fc')
        b_fc = bias_variable([FEATURE_DIM], name='bias_fc')
        h_pool2_flat = tf.reshape(h_pool2, [-1, int(IMAGE_SIZE * scale * FILTER_NUM2)])
        h_fc = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc) + b_fc)

結果

テストデータ(青線)での識別率は、99.1%程度。
前回の記事の結果と同じ程度しか。。細かく見れば、99.08%と99.13%で今回のほうが高い結果が得られているけど、誤差程度の差。
Deep MNIST for Expertsでは、99.2%と書いてあるのに、そこに到達しなかったのは、一つ違いがあって、多項ロジスティック回帰からずっとGradientDescentOptimizer()を利用していて、Deep MNIST for Expertsのほうでは、AdamOptimizer()ってのが使われている。モデルを拡張していく中でオプティマイザ変えると比較しにくいので、変えずにここまできたので、このままに。

result mnist_cnn_ml

で、

     with tf.name_scope('optimize'):
         cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1]))
-        train_step = tf.train.GradientDescentOptimizer(LEARNING_RATE).minimize(cross_entropy)
+        train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)

やってみたら、99.3%。
ちなみに、ついでに、ec2のc4.2xlargeで実行していたのを、g2.2xlargeでやってみたら、7倍くらい早くなった。やっぱGPU必須ですな。

あとがき

前回の記事のモデルに、さらに中間層を増やしてよりディープラーニングらしくしてみました。これで、ようやく、TensorFlowのTutorialのDeep MNIST for Expertsに追いつきました。次回の記事では、これまでの内容をまとめます。