誤差の最適化と勾配法
機械学習や深層学習では、一般に予測の誤差を最小化・最適化することを学習と言います。
前回までのステップで、データフローグラフの基本を学んだところで、このチュートリアルでは「最適化」という概念について勉強して行きたいと思います。
最適化とは、与えられた関数の出力を「最小化」するパラメータを見つけることです。
Tensorflowでは、「勾配法」という手法により、誤差関数を最小化する便利な機能があります。
1.勾配法（最急降下法）
別名、最急降下法と呼ばれる関数の２次元空間を、降下していくメソッドです。
その基本的な段階は、
1.パラメータを適当な値で初期化する
2.与えられたパラメータでの関数の傾き（勾配）を計算する
3.最も傾きの大きい（急な）方向に、パラメータを少しずつずらしていく
4.2〜3を繰り返す
<最急降下法による2次関数の最小化>
import tensorflow as tf
# パラメータは変数として定義
x = tf.Variable(0., name='x')
# パラメータを使って最小化したい関数を定義
func = (x - 1)**2
# learning_rate は一度にずらす大きさを決める
optimizer = tf.train.GradientDescentOptimizer(
learning_rate=0.1
)
# train_step が x を少しずらす操作を表す
train_step = optimizer.minimize(func)
# train_step を繰り返し実行する
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
for i in range(20):
sess.run(train_step)
print('x = ', sess.run(x))
x = 0.98847073
x = 1の時に、この関数は、０になり最小の値になりますが、20回程度の反復で、
x = 0.98847073
を示していますね。
2.勾配法の機械学習への適用
さてこの勾配法を機械学習にはどのように適用するのでしょうか？
簡単な例で、みて行きましょう。ここでは、Boston house-prices というデータセットを使って、
住宅価格を判定する機械学習モデルを作ってみましょう。
2.1 データセットの準備
Tensorflowの上位言語のKerasには、このデータセットを割と簡単に取り込むことができる機能があるので、Kerasを導入してみましょう。
pip install keras
これを例のAnacondaのaistudio仮想環境のターミナルから実行しましょう。
。。 ターミナルではなくて、jupyter notebookからでも出来ます。が、
!pip install keras
頭に!（ダッシュ）を付けます。
x_trainだけ、出力してみましょう。なにがしかのデータがロードされたようです。
でもこれでは分からないので、ヒストグラムにして表示しましょう。
# matplotlibのグラフをインラインで表示する
%matplotlib inline
import matplotlib.pyplot as plt
plt.rcParams['font.family'] = ['IPAexGothic']
plt.rcParams['font.size'] = 10*3
plt.rcParams['figure.figsize'] = [18, 12]
plt.hist(y_train, bins=20)
plt.xlabel('住宅価格($1,000単位)')
plt.ylabel('データ数')
plt.show()
plt.plot(x_train[:, 5], y_train, 'o')
plt.xlabel('部屋数')
plt.ylabel('住宅価格($1,000単位)')
こんな分布をしているみたいですね。