はじめに
ニューラルネットワークの勉強のため、Kerasを使って米国株時系列データを機械学習させてみました。時系列データに最適と言われるRNN(LSTM)モデルを使いました。
動作環境
動作環境は以下の通りです。
python==3.8.6
numpy==1.19.4
matplotlib==3.3.3
pandas==1.1.4
pandas_datareader==0.9.0
ニューラルネットワークに何を予測させるか
任意の銘柄について、過去20営業日(約1ヶ月)の株価と取引出来高をインプットとして、翌営業日に過去20営業日の高値を更新するかを予測させることを目標にします。
データの準備
今回分析の対象としたのは、S&P500採用銘柄(約500銘柄)の約5年分の日次データ(pandas-DataFrame形式)です。データはpandas-datareaderを使ってダウンロードし、pandas-DataFrameオブジェクトをpickleして保管しました。データ総量は30MB程度ですが、ダウンロードには20分くらいかかりました。
import pandas_datareader as pdr
from pandas import to_pickle
# Read S&P500 tickers
with open('SP500.txt', "r") as f_in: #SP500.txtに米国株のティッカーシンボルを格納
ticker_list = [v.rstrip() for v in f_in.readlines()]
# Get data from Yahoo
pd_data = pdr.get_data_yahoo(ticker_list)
# pickele the pandas-DataFrame object
to_pickle(pd_data, 'pd_data.pkl')
中身はこんな感じです。簡単のため銘柄をAAPL, IBM, MSFT の3つだけにしています。
Attributes Adj Close Close ... Open Volume
Symbols AAPL IBM MSFT AAPL ... MSFT AAPL IBM MSFT
Date ...
2015-12-21 24.859543 107.960846 50.034130 26.832500 ... 54.880001 190362400.0 5617500.0 37246300.0
2015-12-22 24.836382 109.896957 50.508629 26.807501 ... 54.990002 131157600.0 4263800.0 28322200.0
2015-12-23 25.156017 110.382957 50.937519 27.152500 ... 55.700001 130629600.0 5164900.0 27279800.0
2015-12-24 25.021677 110.151917 50.800640 27.007500 ... 55.860001 54281600.0 1495200.0 9558500.0
2015-12-28 24.741419 109.641991 51.056156 26.705000 ... 55.349998 106816800.0 3143400.0 22458300.0
... ... ... ... ... ... ... ... ... ...
2020-12-14 121.779999 123.529999 214.199997 121.779999 ... 213.100006 79184500.0 5050000.0 28798400.0
2020-12-15 127.879997 125.930000 214.130005 127.879997 ... 215.169998 157572300.0 4359600.0 27018100.0
2020-12-16 127.809998 125.550003 219.279999 127.809998 ... 214.750000 98208600.0 4530100.0 35023300.0
2020-12-17 128.699997 125.550003 219.419998 128.699997 ... 219.869995 94215500.0 3787600.0 32473500.0
2020-12-18 127.561699 125.680000 218.440002 127.561699 ... 218.589996 51084709.0 1906637.0 16891181.0
[1259 rows x 18 columns]
学習用データの作成
以下gen_data()は、(ダウンロードした)pandas-DataFrameオブジェクト、サンプル数、時系列データ長(今回は20)を引数として学習用データ(X)と正解データ(t)を作成します。学習用データは、ランダムな銘柄とランダムな開始日から始まる所定期間(20+1営業日)を抽出して正規化します。正解データは、その期間の最後の日の株価が、期間中の最高値の場合は、正解データに1を格納、それ以外の場合は0を格納します。
尚、引数arg1==0(省略時値)の場合、過去sep=250営業日より前の開始日で時系列を抽出し、これを学習用データとします。arg1!=0の場合、過去250営業日以降の開始日で時系列を抽出し、これを評価テスト用データとします。
import numpy as np
import pandas as pd
import random
def gen_data(dataframe, nb_of_samples, length, arg1=0):
ticker_list = df['Close'].columns #dfから銘柄リストを作成
sequences = [] #時系列データを格納
target = [] #正解データを格納
sep = 250 #学習用データと評価テスト用データを分けるセパレーター
max_start_index = len(dataframe) - length - sep
count = 0 #動作には関係ありませんが、最後の日が最高値のサンプル数をカウント
while len(sequences) < nb_of_samples:
if arg1 == 0: #過去sep=250営業日より前の時系列を抽出(学習用データ)
start_index = np.random.choice(max_start_index)
else: #過去sep=250営業日以降の時系列を抽出(評価テスト用データ)
start_index = np.random.choice(sep) + max_start_index
end_index = start_index + length + 1
ticker = random.choice(ticker_list) #ランダムな銘柄を選択
temp_df = dataframe[['Close', 'Volume']].xs(ticker, level='Symbols', axis=1)[start_index:end_index]
#正規化
f = lambda x: (x - np.nanmin(x)) / (np.nanmax(x) - np.nanmin(x))
temp_df = temp_df.apply(f).astype('float32')
if (temp_df.count() == length + 1).all(): #データ中に欠損値がない場合
data_array = temp_df.values
sequences.append(data_array[:-1])
if data_array[-1][0] == 1: #期間中の最後の日が最高値の場合
target.append(1)
count = count + 1
print(count) #進捗確認を兼ねてprint
else:
target.append(0)
#学習用データを作成
X = np.array(sequences).reshape(len(sequences), length, 2) #株価と出来高で2
#正解データを作成
t = np.array(target).reshape(len(target))
return X, t
len_sequence = 20 #時系列データ長
num_training_samples = 10000 #学習データのサンプル数
df = pd.read_pickle('pd_data.pkl') #pickleしたpandas-DataFrameの読み込み
X, t = gen_data(df, num_training_samples, len_sequence)
モデルの作成
簡単なLSTMの学習モデルを作成しました。LSTMについては，以下がとても分かりやすく勉強になりました。
LSTMネットワークの概要
コーディングは以下を参考にさせていただきました。
Kerasで基本的なRNN (LSTM) を試してみる
import tensorflow as tf
from tensorflow.keras import Sequential
from tensorflow.keras.layers import LSTM, Dense
input_dim = 2 #入力データの次元数：株価と出来高で2
output_dim = 1 #出力データの次元数
num_hidden_units = 128 #隠れ層のユニット数
#モデル定義
model = Sequential()
model.add(LSTM(
num_hidden_units,
input_shape=(len_sequence, input_dim),
return_sequences=False))
model.add(Dense(output_dim, activation='sigmoid'))
#モデルをコンパイル
model.compile(loss="binary_crossentropy", optimizer="rmsprop", metrics=["accuracy"])
model.summary()
図にするとこんな感じです。
学習と評価テスト
モデルを作成したら、いよいよ機械学習をさせます。今回は250営業日以前が開始日の10,000サンプルを用いてミニバッチサイズ200、学習エポック数100としました。
評価テストでは250営業日以降のランダム銘柄のランダム開始日1,000サンプルを新たに生成して使用しました。
batch_size = 200 #ミニバッチサイズ
num_of_training_epochs = 100 #学習エポック数
#学習
model.fit(
X, t,
batch_size=batch_size,
epochs=num_of_training_epochs,
validation_split=0.1
)
#評価
X_test, t_test = gen_data(df, 1000, len_sequence, arg1=1) #arg1=1を指定
loss, accuracy = model.evaluate(X_test, t_test)
print("\nloss:{} accuracy:{}".format(loss, accuracy))
結果
結果は以下の通りで、まずまずのaccuracyとなりました。実際この確度で高値更新を予測できたら、億万長者も夢じゃないですね！そううまくはいかないでしょうが。。。
ニューラルネットワークによって高値を更新しそうだと判定されたチャートについて、実際どのような形状のチャートなのか、形状はいわゆるチャート分析における有名形状に合致するのかを確認してみたいと思います。
loss:0.22777067124843597 accuracy:0.8999999761581421