みなさんこんにちは。
現在、Pythonを勉強している社会人３年目の転職希望者です。
プログラミングスクールに通い、様々な分析手法を学びました。これからは、更に実践で活躍できるようになる為、自らデータを探し、データの分析のみならず基礎から学んでいこうと考えています。
このブログが様々な人の役に立てれば光栄に思います。
さて、本題ですが今回使用するデータセットは下記のとおりです
https://www.kaggle.com/competitions/jpx-tokyo-stock-exchange-prediction
JPXが主催のコンペディションになっています。
ここで、JPXとは何か簡単に説明していきます。
日本取引所グループ（JPX）は、世界最大級の証券取引所である東京証券取引所（TSE）と、デリバティブ取引所である大阪取引所（OSE）および東京商品取引所（TOCOM）を運営する持株会社です。
今回はこのコンペディションのデータを用いて、データの読み込みからデータ手法まで幅広く学んでいきたいと思います。
１．データの読み込み
与えられたデータがかなり多いですが、まずは一番大切だと思うデータから読み込んでいきましょう。
stock_price_data = pd.read_csv("../input/jpx-tokyo-stock-exchange-prediction/supplemental_files/stock_prices.csv")
stock_price_data
"""
RowId Date SecuritiesCodeOpen High Low Close Volume AdjustmentFactor ExpectedDividend SupervisionFlag Target
0 20211206_1301 2021-12-06 1301 2982.0 2982.0 2965.0 2971.0 8900 1.0 NaN False -0.003263
1 20211206_1332 2021-12-06 1332 592.0 599.0 588.0 589.0 1360800 1.0 NaN False -0.008993
2 20211206_1333 2021-12-06 1333 2368.0 2388.0 2360.0 2377.0 125900 1.0 NaN False -0.009963
3 20211206_1375 2021-12-06 1375 1230.0 1239.0 1224.0 1224.0 81100 1.0 NaN False -0.015032
4 20211206_1376 2021-12-06 1376 1339.0 1372.0 1339.0 1351.0 6200 1.0 NaN False 0.002867
... ... ... ... ... ... ... ... ... ... ... ... ...
111995 20220228_9990 2022-02-28 9990 511.0 518.0 509.0 516.0 120600 1.0 NaN False -0.013592
111996 20220228_9991 2022-02-28 9991 823.0 825.0 814.0 822.0 16200 1.0 NaN False -0.020581
111997 20220228_9993 2022-02-28 9993 1600.0 1622.0 1600.0 1600.0 4000 1.0 NaN False 0.005762
111998 20220228_9994 2022-02-28 9994 2568.0 2568.0 2540.0 2565.0 9000 1.0 NaN False -0.002341
111999 20220228_9997 2022-02-28 9997 731.0 737.0 726.0 734.0 288100 1.0 NaN False -0.030014
112000 rows × 12 columns
"""
ここで、それぞれのカラムについての説明を記述していきます
# RowId: Unique ID of price records, the combination of Date and SecuritiesCode.
# ・・・ ある会社の取引の日付と証券コード（SecuritiesCode）を合わせたもの
# Date: Trade date.
# SecuritiesCode: Local securities code.
# Open: First traded price on a day.
# High: Highest traded price on a day.
# Low: Lowest traded price on a day.
# Close: Last traded price on a day.
# Volume: Number of traded stocks on a day.
# ・・・一日の取引銘柄数。
# AdjustmentFactor: Used to calculate theoretical price/volume when split/reverse-split happens (NOT including dividend/allotment of shares).
# ・・・分割・併合時の理論株価・出来高の算出に使用します（配当・増資は含まれません）。
# ExpectedDividend: Expected dividend value for ex-right date. This value is recorded 2 business days before ex-dividend date.
# ・・・権利落ち日の配当予想値。この値は、配当落ち日の2営業日前に記録されます。
# SupervisionFlag: Flag of securities under supervision and securities to be delisted, for more information, please see here.
# Target: Change ratio of adjusted closing price between t+2 and t+1 where t+0 is trade date.
# ・・・t+2 と t+1 の修正終値の変化率（t+0 は取引日）。
ここで、どれくらいの日付のデータがあるか確認していきましょう。
stock_price_data["Date"].unique()
array(['2021-12-06', '2021-12-07', '2021-12-08', '2021-12-09',
'2021-12-10', '2021-12-13', '2021-12-14', '2021-12-15',
'2021-12-16', '2021-12-17', '2021-12-20', '2021-12-21',
'2021-12-22', '2021-12-23', '2021-12-24', '2021-12-27',
'2021-12-28', '2021-12-29', '2021-12-30', '2022-01-04',
'2022-01-05', '2022-01-06', '2022-01-07', '2022-01-11',
'2022-01-12', '2022-01-13', '2022-01-14', '2022-01-17',
'2022-01-18', '2022-01-19', '2022-01-20', '2022-01-21',
'2022-01-24', '2022-01-25', '2022-01-26', '2022-01-27',
'2022-01-28', '2022-01-31', '2022-02-01', '2022-02-02',
'2022-02-03', '2022-02-04', '2022-02-07', '2022-02-08',
'2022-02-09', '2022-02-10', '2022-02-14', '2022-02-15',
'2022-02-16', '2022-02-17', '2022-02-18', '2022-02-21',
'2022-02-22', '2022-02-24', '2022-02-25', '2022-02-28'],
dtype=object)
データを見てみると２０２１年１２月６日から２０２２年２月２８日のデータであるとわかります。
ここで注意していきたいのが、dtypeです。文字列型になっていますね。
時系列分析などを行う際、これは必ずといってもいいほど変えなくてはいけないものになります。
文字列からdatetime形にしたい場合はPandasのto_datetime関数を用いるとよいです
実際にコードを書いていきます。
stock_price_data['Date'] = pd.to_datetime(stock_price_data['Date'])
では実際にデータ型をみていきましょう。上手くdatetime形式にすることが出来ました。
stock_price_data["Date"].head()
"""
0 2021-12-06
1 2021-12-06
2 2021-12-06
3 2021-12-06
4 2021-12-06
Name: Date, dtype: datetime64[ns]
"""
stock_price_dataは、様々な企業の株価の変動が記載されていることから、どの会社がデータの日付分どのような動きになっているか分かりづらいと思います。
そこで、ある会社のデータのみ見ていきましょう。
私はユニクロが好きなので、なんとなくユニクロの証券コード（９９８３）を用いてデータを作成していきます。
df = df_train_stock[df_train_stock['SecuritiesCode'] == 9983]
df["Close_shift1"] = df["Close"].shift(-1)
df["Close_shift2"] = df["Close"].shift(-2)
df["rate"] = (df["Close_shift2"] - df["Close_shift1"]) / df["Close_shift1"]
df
一行目は、データフレームにする為に、df_train_stock[]でもう一度囲むことに注意が必要です。
shift(-1)で一個後のデータを抽出することが可能です。
shift(-2)で一個後のデータを抽出することもできます。
それぞれを後と前の差と前のデータから、変化率を抽出しています。
このデータを見てみると、Targetとrateが一致していることが分かります。
このターゲットがとても大切な数値なものであると考察します。
では、このTargetがをヒストグラムで表してみます。
import matplotlib.pyplot as plt
plt.hist(stock_price_data["Target"] , bins=1000, range=[-0.2,0.2])
plt.title("Target distribution", weight='bold', fontsize=16)![download.png]
-0.1から+0.1で収束していることが見受けられます。
これから様々な分析をしていきますので、よろしくお願い申し上げます。