前回記事「【Keras入門(5)】単純なRNNモデル定義」では、RNNを使って1つの入力値に対して次の値を予測しました。今回は、10個の入力値に対して1つの出力をするモデルにします。
これは、文章に対するネガポジ予測(ネガティブ/ポジティブ)や、文書の分類などに使えます。

以下のシリーズにしています。

- 【Keras入門(1)】単純なディープラーニングモデル定義

【Keras入門(2)】訓練モデル保存(KerasモデルとSavedModel)
【Keras入門(3)】TensorBoardで見える化
【Keras入門(4)】Kerasの評価関数(Metrics)
【Keras入門(5)】単純なRNNモデル定義
【Keras入門(6)】単純なRNNモデル定義(最終出力のみ使用) <- 本記事
【Keras入門(7)】単純なSeq2Seqモデル定義

使ったPythonパッケージ

Google Colaboratoryでインストール済の以下のパッケージとバージョンを使っています。KerasはTensorFlowに統合されているものを使っているので、ピュアなKerasは使っていません。Pythonは3.6です。

tensorflow: 1.14.0
Numpy: 1.16.4
matplotlib: 3.0.3

処理概要

等差数列が増加か減少かを判断します。

1st	2nd	3rd	4th	5th	6th	7th	8th	9th	10th	等差数列
0	1	2	3	4	5	6	7	8	9	増加(0)
0	-1	-2	-3	-4	-5	-6	-7	-8	-9	減少(0)

処理プログラム

プログラム全体はGitHubを参照ください。

1. ライブラリインポート

前回から追加して乱数を発生するrandomも読み込んでいます。

from random import randint

import numpy as np
import matplotlib.pyplot as plt

# TensorFlowに統合されたKerasを使用
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, SimpleRNN

##2. 前処理
等差数列の配列を増加・減少パターンを交互に作っています。

NUM_RNN = 10
NUM_DATA = 200

# 空の器を作成
x_train = np.empty((0, NUM_RNN))
y_train = np.empty((0, 1))

for i in range(NUM_DATA):
    num_random = randint(-20, 20)
    if i % 2 == 1:  # 奇数の場合
        x_train = np.append(x_train, np.linspace(num_random, num_random+NUM_RNN-1, num=NUM_RNN).reshape(1, NUM_RNN), axis=0)
        y_train = np.append(y_train, np.zeros(1).reshape(1, 1), axis=0)
    else: # 偶数の場合
        x_train = np.append(x_train, np.linspace(num_random, num_random-NUM_RNN+1, num=NUM_RNN).reshape(1, NUM_RNN), axis=0)
        y_train = np.append(y_train, np.ones(1).reshape(1, 1), axis=0)

x_train = x_train.reshape(NUM_DATA, NUM_RNN, 1)
y_train = y_train.reshape(NUM_DATA, 1)

3. モデル定義

今回のRNNモデルは前回と異なり、最終出力のみを使います。そのために下図のようなモデルです。

参考として、前回のモデル(最終出力以外も使用)はこんなでした。

SimpleRNN関数のreturn_sequencesの値をFalseにして使わないようにします。また、最後の全結合層は1次元にして二値分類です。

NUM_DIM = 16  # 中間層の次元数

model = Sequential()

# return_sequenceがFalseなので最後のRNN層のみが出力を返す
model.add(SimpleRNN(NUM_DIM, batch_input_shape=(None, NUM_RNN, 1), return_sequences=False))
model.add(Dense(1, activation='sigmoid'))  #全結合層
model.compile(loss='binary_crossentropy', optimizer='adam')

model.summary()

summary関数で以下のようなモデルサマリを出してくれます。

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
simple_rnn (SimpleRNN)       (None, 8)                 80        
_________________________________________________________________
dense (Dense)                (None, 1)                 9         
=================================================================
Total params: 89
Trainable params: 89
Non-trainable params: 0
_________________________________________________________________

##4. 訓練実行
fit関数を使って訓練実行です。30epoch程度でそこそこいい精度が出ます。

history = model.fit(x_train, y_train, epochs=30, batch_size=8)
loss = history.history['loss']

plt.plot(np.arange(len(loss)), loss) # np.arangeはlossの連番数列を生成(今回はepoch数の0から29)
plt.show()

5. テスト

最後にテストです。

5.1. テスト実行

訓練データの最初の10件をテストデータとします。
predict関数を使ってテストデータから予測値を出力します。

# データ数(10回)ループ
for i in range(10):
    y_pred = model.predict(x_train[i].reshape(1, NUM_RNN, 1))
    print(y_pred[0], ':', x_train[i].reshape(NUM_RNN))

見た限り全問正解です(4件だけ抜粋)。

[0.9673256] : [ -6.  -7.  -8.  -9. -10. -11. -12. -13. -14. -15.]
[0.01308651] : [-6. -5. -4. -3. -2. -1.  0.  1.  2.  3.]
[0.9779032] : [12. 11. 10.  9.  8.  7.  6.  5.  4.  3.]
[0.01788531] : [-2. -1.  0.  1.  2.  3.  4.  5.  6.  7.]