TensorFlowのチュートリアルを見ていきます。
MNIST For ML Beginners
https://www.tensorflow.org/versions/r0.7/tutorials/mnist/beginners/index.html
このチュートリアルではソフトマックス回帰を行うことで、手書き数字を画像認識します。
MNIST
MNISTはMNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burgesで提供されている手書き数字の画像データで、トレーニング用の画像60000個とテスト用の画像10000個が利用できます。
画像は縦横28pxの256段階（白0～黒255）のグレースケールで、上から1行ずつ左から右へと並んでいます。
ためしにトレーニングデータの10番目の数字は以下のように取り出せます。
import gzip, struct
from PIL import Image
with gzip.open('train-images-idx3-ubyte.gz', 'rb') as f:
# header
magic, items, width, height = struct.unpack('>4i', f.read(16))
size = width * height
idx = 9 # 0-origin
f.seek(idx * size, 1)
data = bytes(map(lambda x: 255 - x, f.read(size)))
image = Image.frombytes('L', (width, height), data)
image.save("sample.png")
TensorFlowではチュートリアル用にMNISTのファイルを取得し、データを抽出する関数が用意されています。
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)
トレーニングデータのうち55000個をトレーニング用に、5000個を検証用に使います。
画像はサイズ 784 (=28*28) のベクトルとして扱います。画像データのテンソルのシェイプは[55000, 784]になります。
ラベルはone-hotベクトルとして扱います。サイズ10のベクトルでそれぞれの要素が0から9に対応し、一致している要素のみ1に、その他の要素は0になります。
例えばラベルが3であれば[0, 0, 0, 1, 0, 0, 0, 0, 0, 0]と表せます。
ラベルデータのテンソルのシェイプは[55000, 10]になります。
ソフトマックス回帰
ソフトマックス回帰は、異なる複数のクラスのうちのどれに所属するか確率を出したい、といったときに用いられます。
ソフトマックス回帰は2ステップで行われます。
最初のステップは入力が各クラスの徴候を示すかを計算します。このチュートリアルでは各ピクセル毎に重みを設定して、そのピクセルにおける黒の濃度をかけて足したものとします。（正確には数字毎に設定されたバイアスと呼ばれる値を足します）
重みはその数字だった場合に他の数字とくらべて黒く塗られやすいかどうかになります。黒く塗られることが多いところはプラスの値に、少ないところはマイナスの値になります。下の画像は学習の結果、数字毎に設定された重みを絵にしたものです。青い部分がプラスで、赤い部分がマイナスになります。
iが数字（0～9）、jがピクセル、Wが重み、bがバイアス、xが画像データとして次の式で計算します。
\mathrm{evidence}_i = \sum_j W_{i,j} x_j + b_i
次のステップは、徴候から確率を求めます。これはソフトマックス関数で求めます。ソフトマックス関数についてはここでは説明できませんしません。
yが求める確率として次の式で書けます。
y = \mathrm{softmax}(\mathrm{evidence})
2つの式から以下が導き出せます。
y_i = \mathrm{softmax}(\sum_j W_{i,j} x_j + b_i)
ラベルデータy'を正解値として、交差エントロピー $- \sum y' \log(y) $ が最小となるようにトレーニングします。
コード
#Import Data
from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)
# Create the model
x = tf.placeholder(tf.float32, [None, 784])
W = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))
y = tf.nn.softmax(tf.matmul(x, W) + b)
# Define loss and optimizer
y_ = tf.placeholder(tf.float32, [None, 10])
cross_entropy = -tf.reduce_sum(y_ * tf.log(y))
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)
# Train
init = tf.initialize_all_variables()
sess = tf.Session()
sess.run(init)
for i in range(1000):
batch_xs, batch_ys = mnist.train.next_batch(100)
sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})
# Test trained model
correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
print(sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels}))
コード内容
# Create the model
x = tf.placeholder(tf.float32, [None, 784])
W = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))
y = tf.nn.softmax(tf.matmul(x, W) + b)
モデルを作成しています。xは外部データなのでプレースホルダーとして定義します。Noneはサイズが不定なのを意味します。
# Define loss and optimizer
y_ = tf.placeholder(tf.float32, [None, 10])
cross_entropy = -tf.reduce_sum(y_ * tf.log(y))
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)
交差エントロピーを再急降下法で最少になるように最適化します。
y'も外部データなのでプレースホルダーとして定義しています。
# Train
init = tf.initialize_all_variables()
sess = tf.Session()
sess.run(init)
for i in range(1000):
batch_xs, batch_ys = mnist.train.next_batch(100)
sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})
トレーニング用データを100個ずつ、1000回トレーニングさせています。
# Test trained model
correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
print(sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels}))
トレーニングされたモデルに対して、テスト用データを与えて正解できるかを確認します。
確率がもっとも高い数字を機械学習の回答にしています。
correct_prediction で正解かどうかの真偽値のリストを作成して、accuracy では真なら1.0、偽なら0.0に変換して平均をとることで正答率を求めています。
最後に正解率が表示します。
実行結果
$ python mnist_beginners.py
Extracting MNIST_data/train-images-idx3-ubyte.gz
Extracting MNIST_data/train-labels-idx1-ubyte.gz
Extracting MNIST_data/t10k-images-idx3-ubyte.gz
Extracting MNIST_data/t10k-labels-idx1-ubyte.gz
0.9197
正答率は92%くらいになります。
おまけ
自分で書いた数字を写真にとって、実際に正しく認識されるかどうか試してみます。
※別記事にあげました(4/15)