Tensorfowメモ

自分なりに書き残しているメモです

Tensorflowの構造

グラフ、演算ノード、テンソルの構想

グラフとは?

複数のニューロンからなる一つの層を表す図形
φ(X * W + b)

ノードとノードを結ぶ辺によって構成
演算ノード・変数ノード・プレスホルダーノードなどが存在

テンソルとは

グラフを流れる量

テンソルはn次元の配列あるいはリスト

主な表記

変数 tf.Variable
行列の積 tf.matmul
φの適用　tf.nn.relu

グラフの定義

graph.py

# Wを入れる変数の定義
weights = tf.Variable()
# bを入れる変数の定義 
bias = tf.Variable()
# 層の働きを φ(X*W+b) で定義
#ここではφはreluを使用
#imagesは、この層が受ける入力
#hidden1はこの層の出力

#1層目
hidden1 = tf.nn.relu(tf.matmul(images, weights) + bias)

#2層目
hidden2 = tf.nn.relu(tf.matmul(hidden1,weights) + bias)
#images, weights, bias, hidden1はいずれもテンソル

変数定義

変数の初期化

init.py

w = tf.Variable(tf.random_norml([784, 200], stddev = 0.35), name = "weights")
b  =tf.Variable(tf.zeros([200], name = "biases")

#この変数を初期化する演算
#注意！ここではまだ実行されずノードが追加されただけである。
init_op = tf.initialize_all_variables()


#モデルを起動したあとで、この初期化を呼び出す
#定義したモデルはSessionで初めて動く。
#呼び出しには run を使用
with tf.Session() as sess:
    # Run the init operation.
    sess.run(init_op)

**変数の保存とリストア

save.py

#変数を作る
v1 = tf.variable(..., name = "v1")
v2 = tf.variable(..., name = "v2")

#変数を初期化する init_opノード
init_op = tf.initalize_all_variables()
#すべての変数をsave, restoreするsaveノードの追加
saver = tf.train.Saver()

#モデルを起動し、変数を初期化し、何かの仕事をしたあとで
#変数をディスクにsaveする
with tf.Session() as sess:
  sess.run(init_op)
  #モデルで何かの仕事をする
  ##########

  #変数をディスクにsaveする
  save_path = saver.save(sess, "/tmp/model.ckpt")
  print("Modef saved in file: %s" % save_path)

  #変数のrestore
  saver.retore(sess, "/tmp/model.ckpt")
  print ("Modell restored")

パラメータの最適化(訓練)

パラメータ(重みとバイアス)の最適化

グラフを組んで、そのグラフで入力データで出力を計算
出力結果を正しい答えと比較。比較には損失関数を用いる
Gradient Descent(勾配降下法)を使って、損失関数の値を小さく修正する
新しいパラメータで出力を計算。損失関数が小さくなるまで繰り返す

主な関数

GradientDescentOptimizer()

パラメータ最適化のための最適化演算。このOptimizerを使って損失関数を最適化

opt.py


###数値予測の場合###
 loss = tf.reduce_mean(tf.square(y - y_data))
#学習率0.5で勾配降下
optimizer = tf.train.GradientDescentOptimizer(0.5)
train = optimizer.minimize(loss)

###クラス分けの場合###
y_ = tf.placeholder("float", [None , 10])
cross_enttopy = -tf.reduce_sum(y_ * tf.log(y))
optimizer = tf.train.GradientDescentOptimizer(0.01)
train = optimizer.minimize(cross_entropy)

Tensorflowメモ【随時更新】