Help us understand the problem. What is going on with this article?

TensorFlowチュートリアルやってみた CNN 第4回

More than 1 year has passed since last update.

TensorFlowの公式チュートリアルをやってみました
前回までのNNでは結果がまだ悪い。
CNNを利用するとさらに精度が向上する。

CNN

CNNは画像認識や音声認識などでよく使われている。
「畳み込み層(Convolutionレイヤ)」,「プーリング層(Poolingレイヤ)」を組み合わせて作ることができる。

畳み込み処理

①3*3の正方形の畳み込みフィルタ-を入力データにかけていく。
畳み込みフィルターはストライドで移動距離を定める。1ピクセルの指定だと1ピクセルずつずらす。
28×28のデータに5×5のフ畳み込みィルターをかけると、24×24となって小さくなってしまう。←これに対応するためにゼロパディングがある。
ゼロパディングは入力のデータの周囲を0で囲む処理である。
②フィルター1回ので得られた計算の総和を求める。

プーリング処理

畳み込み処理の結果の次元を削減する処理。
例 2×2のプーリングフィルターがあるとする
maxプーリングは2×2のプーリングフィルターを畳み込み結果にかけて、その2×2の中の最大値を取得する。

活性化関数

今回使用するのはReLu関数
ReLu関数は以下のような関数
y = max(x, 0)
0以下の時は0
0以上の時はx
を返す関数

プログラムの流れ

データの読み込み

from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets('MNIST_data', one_hot = True)

tensorflowのインポート

import tensorflow as tf

Sessionを立てる

今回はInteractiveSession()を使う

sess = tf.InteractiveSession()

入力xと正解ラベルy_の入れ物を作成する

placeholderで作成。ついでに、重みとバイアスも作成。

x = tf.placeholder(tf.float32, shape=[None, 784])
y_ = tf.placeholder(tf.float32, shape=[None,10])

W = tf.Variable(tf.zeros([783, 10]))
b = tf.Variable(tf.zeros([10]))

重みやバイアスの計算をする関数を作成

重みのinitial = tf.truncated_normal(shape, stddev=0.1)は初期値を与えている。正規分布の左右を切り取った形をしていて、stddevで標準偏差でデーターの散らばりを指定する。

バイアスのinitial = tf.constant(0.1, shape=shape)は値が0だと計算が進まないので'0.1'をバイアスで与える。

def weight_variable(shape):
    initial = tf.truncated_normal(shape, stddev=0.1)
    return tf.Variable(initial)

def bias_variable(shape):
    initial = tf.constant(0.1, shape=shape)
    return tf.Variable(initial)

畳み込み処理・畳み込み層

入力データとお耳を引数する。
strides=[1,1,1,1]は1ピクセルずつずらして適応するという意味。
padding='SAME'は左右に0をつけたようなデータに変換する(出力が入力と同じサイズになるように0で埋める)。

def conv2d(x, W):
    return tf.nn.conv2d(x, W, strides=[1,1,1,1], padding='SAME')

プーリング層

サイズを小さくするために特徴量を抽出する層
ksize=[1,2,2,1] 2*2のブロックを適応する。
strides=[1,2,2,1]は2ピクセルずつずらして適応するという意味。
padding='SAME'は左右に0をつけたようなデータに変換する(出力が入力と同じサイズになるように0で埋める)。

def max_pool_2x2(x):
    return tf.nn.max_pool(x, ksize=[1,2,2,1], strides=[1,2,2,1], padding='SAME')

第1畳込み層の設定

5*5の重みパッチを32個用意する。[パッチサイズ,入力チャンネル数,出力チャンネル数]。
バイアスは出力チャンネル数と同じだけ用意。

W_conv1 = weight_variable([5,5,1,32])
b_conv1 = bias_variable([32])

xの値を与える

レイヤーを適用するには、最初xに、画像の幅と高さに対応する第2および第3の次元、およびカラーチャネルの数に対応する最終次元で4dテンソルに変形する。tf.reshape(x, [-1, 28, 28, 1])は行列の形を変換している。最後の'1'は濃淡画像であることを示す。

x_image = tf.reshape(x, [-1, 28, 28, 1])

第1層の畳み込んだ結果

x_image、重みテンソルと畳み込み、バイアスを加え、ReLU関数を適用し、最後に最大プールを適用する。このmax_pool_2x2方法では、画像サイズを14x14に縮小する。

h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)
h_pool1 = max_pool_2x2(h_conv1)

第2畳込み層の設定と畳み込んだ結果

W_conv2 = weight_variable([5,5,32,64])は5*5パッチが32種類の64個ある

2層目なので、h_pool1W_conv2の畳み込み計算

W_conv2 = weight_variable([5,5,32,64])
b_conv2 = bias_variable([64])

h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)
h_pool2 = max_pool_2x2(h_conv2)

結合層

W_fc1 = weight_variable([7 * 7 * 64, 1024])
b_fc1 = bias_variable([1024])

h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)

Dropout

オーバーフィット(過学習)を減らすために、読み出しレイヤの前にドロップアウトを適用する。我々placeholderは、ドロップアウト中にニューロンの出力が保持される確率についてa を作成する。これにより、トレーニング中にドロップアウトをオンにし、テスト中にオフにすることができる。

keep_prob = tf.placeholder(tf.float32)
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)

読み出し層

W_fc2 = weight_variable([1024,10])1024行×10列(0~9の数字の確立)

W_fc2 = weight_variable([1024,10])
b_fc2 = bias_variable([10])

y_conv = tf.matmul(h_fc1_drop, W_fc2) + b_fc2

モデルのトレーニングと評価

cross_entropy = tf.reduce_mean(
tf.nn.softmax_cross_entropy_with_logits(labels=y_, logits=y_conv))

reduce_mean()は平均値を取る
tf.nn.softmax_cross_entropy_with_logits(labels=y_, logits=y_conv)は正解ラベル(y_)と推定値(y_conv)を比べる

tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)で学習の仕方を設定今回はAdamOptimizer

cross_entropy = tf.reduce_mean(
    tf.nn.softmax_cross_entropy_with_logits(labels=y_, logits=y_conv))
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
correct_prediction = tf.equal(tf.argmax(y_conv, 1), tf.argmax(y_, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

with tf.Session() as sess:
  sess.run(tf.global_variables_initializer())
  for i in range(20000):
    batch = mnist.train.next_batch(50)
    if i % 100 == 0:
      train_accuracy = accuracy.eval(feed_dict={
          x: batch[0], y_: batch[1], keep_prob: 1.0})
      print('step %d, training accuracy %g' % (i, train_accuracy))
    train_step.run(feed_dict={x: batch[0], y_: batch[1], keep_prob: 0.5})

  print('test accuracy %g' % accuracy.eval(feed_dict={
      x: mnist.test.images, y_: mnist.test.labels, keep_prob: 1.0}))

完全なプログラム

上記の流れをまとめたものがこちら

mnist_cnn.py
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets('MNIST_data', one_hot = True)

import tensorflow as tf
sess = tf.InteractiveSession()

x = tf.placeholder(tf.float32, shape=[None, 784])
y_ = tf.placeholder(tf.float32, shape=[None,10])

W = tf.Variable(tf.zeros([783, 10]))
b = tf.Variable(tf.zeros([10]))

def weight_variable(shape):
    initial = tf.truncated_normal(shape, stddev=0.1)
    return tf.Variable(initial)

def bias_variable(shape):
    initial = tf.constant(0.1, shape=shape)
    return tf.Variable(initial)

def conv2d(x, W):
    return tf.nn.conv2d(x, W, strides=[1,1,1,1], padding='SAME')

def max_pool_2x2(x):
    return tf.nn.max_pool(x, ksize=[1,2,2,1], strides=[1,2,2,1], padding='SAME')

W_conv1 = weight_variable([5,5,1,32])
b_conv1 = bias_variable([32])

x_image = tf.reshape(x, [-1, 28, 28, 1])

h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)
h_pool1 = max_pool_2x2(h_conv1)

W_conv2 = weight_variable([5,5,32,64])
b_conv2 = bias_variable([64])

h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)
h_pool2 = max_pool_2x2(h_conv2)

W_fc1 = weight_variable([7 * 7 * 64, 1024])
b_fc1 = bias_variable([1024])

h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)

keep_prob = tf.placeholder(tf.float32)
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)

W_fc2 = weight_variable([1024,10])
b_fc2 = bias_variable([10])

y_conv = tf.matmul(h_fc1_drop, W_fc2) + b_fc2

cross_entropy = tf.reduce_mean(
    tf.nn.softmax_cross_entropy_with_logits(labels=y_, logits=y_conv))
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
correct_prediction = tf.equal(tf.argmax(y_conv, 1), tf.argmax(y_, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

with tf.Session() as sess:
  sess.run(tf.global_variables_initializer())
  for i in range(20000):
    batch = mnist.train.next_batch(50)
    if i % 100 == 0:
      train_accuracy = accuracy.eval(feed_dict={
          x: batch[0], y_: batch[1], keep_prob: 1.0})
      print('step %d, training accuracy %g' % (i, train_accuracy))
    train_step.run(feed_dict={x: batch[0], y_: batch[1], keep_prob: 0.5})

  print('test accuracy %g' % accuracy.eval(feed_dict={
      x: mnist.test.images, y_: mnist.test.labels, keep_prob: 1.0}))
出力
step 0, training accuracy 0
step 100, training accuracy 0.9
step 200, training accuracy 0.9
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
step 19900, training accuracy 1
test accuracy 0.9916

99%!! 前回は92%だったので精度が向上している。

taigamikami
大学生 自分の勉強・メモとしてQiitaに投稿しています。おかしいと思う部分は遠慮なくご指摘いただければと思います。 Ruby/Rails/Swift/iOS/Python
https://taigamikami.github.io/
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした