TensorFlowのバージョンが2に上がった時に、これまで使っていたtf.layersがなくなるという予定を聞いた。ということで、別の高レベルAPIであるKerasを使ってみた。
tf.layersの記事は
「TensorFlowの高レベルAPIの使用方法：tf.layersの使い方と重みなどの取り出し方」
https://qiita.com/cometscome_phys/items/95ed1b89acc7829950dd
である。
この記事でやったことをKerasでもやってみる。

バージョン

TensorFlow: 1.12.0
Keras: 2.1.6-tf

再現すべき関数

これは前と同じ。

test.py

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

n = 10
x0 = np.linspace(-2.0, 2.0, n)
a0 = 3.0
a1 = 2.0
b0 = 1.0
y0 = np.zeros((n,1))
y0[:,0] = a0*x0+a1*x0**2 + b0 + 3*np.cos(20*x0)

plt.plot(x0,y0 )
plt.show()
plt.savefig("graph.png")

インプットは多項式であり、隠れ層が何もなければ多項式による線形回帰となる。インプットは

test.py

def make_phi(x0,n,k):    
    phi = np.array([x0**j for j in range(k)])
    return phi.T

で定義しておく。

モデルの構築

Kerasにはモデルの表記方法が二種類あり、Sequentialモデルとfunctional APIを使ったモデルがある。今後複雑なモデルを作ることを考えて、functional APIを使うこととする。
と言っても、tf.layersとか生のTensorFlowをいじったことがあるならば、functional APIは身構える必要はない。
モデルは、

test.py

import tensorflow as tf
from tensorflow.keras import layers
from tensorflow.keras import optimizers

def build_model(d_input,d_middle):
    inputs = tf.keras.Input(shape=(d_input,))  #インプットの次元を指定
    x = layers.Dense(d_middle, activation='relu')(inputs) #中間層の指定
    y = layers.Dense(1)(x) #最終層の指定
    adam = optimizers.Adam() #最適化にはAdamを使用
    model =  tf.keras.Model(inputs=inputs, outputs=y) #モデルのインプットとアウトプットを指定
    
    model.compile(optimizer=adam,
              loss='mean_squared_error') #modelの構築。平均二乗誤差をloss関数とした。
    
    return model

となる。
よって、

test.py

k = 4
phi = make_phi(x0,n,k)
d_type = tf.float32
d_input = k
d_middle = 10
model = build_model(d_input,d_middle)

でmodelを作ることができる。

学習

学習はとても簡単で、

test.py

history = model.fit(phi, y0, epochs=20000,verbose=0)

で良い。ここで、verboseを指定しないとログがepochごとに(20000個)出力される。

結果

結果を見るには、

test.py

ytest = model.predict(phi)

で構築したモデルから出力されたyを作っておき、プロットすればよくて、

test.py

plt.plot(x0,y0 )
plt.plot(x0,ytest,'o')
plt.show()
plt.savefig("graph.png")

plt.plot(history.history['loss'])
plt.title('model loss')
plt.ylabel('loss')
plt.xlabel('epoch')
plt.legend(['train'], loc='upper left')
plt.show()
plt.savefig("train.png")

でグラフとlossを見ることができる。
結果は、

となる。

学習したモデルの表示

モデルを表示するためには、

test.py

model.summary()
model.get_weights()

とすれば、モデルの構造と、中身のWやbを見ることができる。