本記事について

FXの1分足データを任意の時間足(1時間足など)に変更するプログラムを作成します。

成果物

1分足のデータを・・・

任意の時間氏に変更してCSVに出力します↓（下記画像は1時間足）

データの準備

1分足のデータはGMOクリック証券さんからダウンロードしました。
口座さえあれば入金額が0でもダウンロード出来るという太っ腹な対応。非常にありがたいです。
（※他の業者さんだと、入金金額が一定金額無いとダメだったり、日足レベルのデータまでしか無かったりします。）

今回は米ドル/円のデータを2007年1月から2020年9月までダウンロードしました。

フォルダ構成

ダウンロードしたデータを解凍すると以下のようなフォルダ構造になっています。
/通貨名_yyyymm/yyyymm/
※USDJPYの2020年8月のフォルダだと、/USDJPY_202008/202008

そのフォルダに、各日(通貨名_yyyymmdd.csv)のCSVが保存されています。

今回ダウンロードしたCSVデータは、
今後作成するプログラムでも流用する予定なので、
以下のようなツリー構造にして保存することにします。

このようなツリー構造しておけば、今後ダウンロードする通貨の種類が増えても対応しやすいです。
また、今回作成するプログラムはcsvフォルダと同じ階層に、
「Make_OHCL」というフォルダを作成してそこに保存することにします。

CSVの中身について

csvは、2007年は以下のようなフィールド構造になっています。

しかし、2016年頃から以下のようにフィールド数が増えています。
スプレッド(売買手数料)が考慮されているんですね。

ちょっと面倒ですが、2種類のCSVに対応する必要があります。

コード

今回作成するプログラムはcsvフォルダと同じ階層に、
「Make_OHCL」というフォルダを作成し、その直下に作成します。
データの加工処理はpandasではなく、速度を高めるためにnumpyを利用します。

from copy import copy
import glob
import numpy as np
import pandas as pd

def make_ohlc(ashi, arr=None):
    """
    関数の説明：指定の時間足のOHLCを作成し、arrayを返す。
    ashi:変更後の時間足。60なら1時間足。
    arr:1分足のcsvファイルをarrayに変換したもの。
    """

    #読み込んだCSVファイルが6列以上あったら、1～5列目だけ読み込む。
    if arr.shape[1] > 5:
        arr = arr[:,0:5]

    arr = np.c_[arr, np.zeros((len(arr),4))] # 4列追加
    for i in range(0, len(arr), ashi):
        try:
            arr[i,5] = arr[i,1] #始値
            max_tmp = arr[i:i+ashi,2].astype(np.float) #指定期間の高値一覧を取得
            arr[i,6] = max_tmp.max() #高値
            min_tmp = arr[i:i+ashi,3].astype(np.float) #指定期間の安値一覧を取得
            arr[i,7] = min_tmp.min() #安値
            arr[i,8] = arr[i+ashi-1,4] #終値
        except IndexError:
            pass

    arr = np.delete(arr, [1,2,3,4], axis=1) #2～5列目はもう不要なので削除
    arr = arr[arr[:,4] != 0] #0の行を削除

    return arr

currency = 'USDJPY' #通貨ペア名
ashi = 60 #取得したい足の長さ(60なら60分足)
arr = None #arrを初期化

csv_dir = '../csv/' + currency + '/' # /csv/通貨名フォルダ
dir_list = glob.glob(csv_dir + '*') # csv/通貨名/通貨名_yyyymm のフォルダ一覧を取得

for i in range(len(dir_list)):
    file_list = glob.glob(dir_list[i] + '/' + dir_list[i][-6:] + '/*') #csvファイルのパス一覧を取得

    for j in range(len(file_list)):
        pre_arr = copy(arr) #前のarrをpre_arrに退避
        csv_arr = np.loadtxt(file_list[j], delimiter=",", skiprows=1, dtype='object') #csvをarrayに読み込む
        arr = make_ohlc(ashi, csv_arr) #足の長さを変更

        if pre_arr is not None:
            #前のarrと変換したarrを連結する
            arr = np.vstack([pre_arr,arr])


filename = currency + '_ashi=' + str(ashi) + '.csv'
np.savetxt(filename, arr , delimiter="," , header="Date,Open,High,Low,Close" ,fmt="%s") #CSVに保存する

今回は複数のディレクトリに複数のCSVファイルが入っていたので、
連結処理などでちょっとコードが長くなりましたが、
すでにCSVが1つのファイルにまとまっているよという場合は、以下のコードだけで大丈夫です。

def make_ohlc(ashi, arr=None):
    """
    関数の説明：指定の時間足のOHLCを作成し、arrayを返す。
    ashi:変更後の時間足。60なら1時間足。
    arr:1分足のcsvファイルをarrayに変換したもの。
    """

    #読み込んだCSVファイルが6列以上あったら、1～5列目だけ読み込む。
    if arr.shape[1] > 5:
        arr = arr[:,0:5]

    arr = np.c_[arr, np.zeros((len(arr),4))] # 4列追加
    for i in range(0, len(arr), ashi):
        try:
            arr[i,5] = arr[i,1] #始値
            max_tmp = arr[i:i+ashi,2].astype(np.float) #指定期間の高値一覧を取得
            arr[i,6] = max_tmp.max() #高値
            min_tmp = arr[i:i+ashi,3].astype(np.float) #指定期間の安値一覧を取得
            arr[i,7] = min_tmp.min() #安値
            arr[i,8] = arr[i+ashi-1,4] #終値
        except IndexError:
            pass

    arr = np.delete(arr, [1,2,3,4], axis=1) #2～5列目はもう不要なので削除
    arr = arr[arr[:,4] != 0] #0の行を削除

    return arr

currency = 'USDJPY' #通貨ペア名
ashi = 60 #取得したい足の長さ(60なら60分足)

csv_arr = np.loadtxt(<csvファイルのパス>, delimiter=",", skiprows=1, dtype='object') #csvをarrayに読み込む
arr = make_ohlc(ashi, csv_arr) #足の長さを変更

filename = currency + '_ashi=' + str(ashi) + '.csv'
np.savetxt(filename, arr , delimiter="," , header="Date,Open,High,Low,Close" ,fmt="%s") #CSVに保存する

確認

1時間足に変更されたCSVファイルが出力されたことを確認します。

CSVファイルからチャート画像を作る方法は以下の記事で紹介しています。
https://qiita.com/sw1394/items/b2a86cfc663d89915e28