とりあえず、アルゴリズムは完成したので、いよいよＭＴ４からのＭＬシステムを構築することとした。
MT4
Metatrader4からは、API経由でデータの受け渡しをすることにした。
メタトレード側のサーバーでやることは、3つである
- Pandasデータフレームから、tailのtimeindex情報を取得する
- Pandasデータフレームに対して、各足のチャート情報を送付する
- 売買シグナルを取得する
まずは、Oninit関数に、1,2を仕込む
autotrade.c
#property copyright "Copyright 2016, gogojungle"
#property version "1.00"
#property strict
string URL = "http://127.0.0.1/";
int OnInit(){
string res,str,filename,sep_str[];
datetime m1,m5,m15,current;
int pos;
res = GET(URL + "getlasttime/", "");
pos =StringSplit(res,'\"',sep_str);
if(pos!=0)
{
m1 = StringToTime(sep_str[3]);
m5 = StringToTime(sep_str[7]);
m15 = StringToTime(sep_str[10]);
}
SendValue(PERIOD_M1,m1);
SendValue(PERIOD_M5,m5);
SendValue(PERIOD_M15,m15);
return(INIT_SUCCEEDED);
}
void SendValue(string peristr,datetime end){
for(int i=0; i<100000; i++){
if (end > iTime(NULL,peristr,i))
break;
string data = TimeToString(iTime(NULL,peristr,i))
+"_"+peristr + "_" + DoubleToString(iClose(NULL,peristr,i));
POST(URL + "gettick/", data);
}
}
Webserver
GET,POSTは以下の通り
今回のPOSTは、Fastapiの練習を兼ねて、JSON-BODY渡しを書いた。（別にGETでもいいのであるが・・・）
もちろん、カリパクである。
autotrade.c
bool POST(string url, string text){
string headers;
string data;
char post[],result[];
headers = "Content-Type: application/json\r\n";
StringReplace(text, "\n", "\\n");
data = "{\"content\":\""+text+"\"}";
ArrayResize(post,StringToCharArray(data,post,0,WHOLE_ARRAY,CP_UTF8)-1);
int res=WebRequest("POST",url,headers,5000,post,result,headers);
if(res == -1){
Print(__FUNCTION__ + " Error code =",GetLastError(),data);
return(false);
}
Print("POST success! ", CharArrayToString(result, 0, -1));
return(true);
}
リクエストをGETに変えただけ・・・
autotrade.c
string GET(string url, string text){
string headers;
string data,str;
char post[],result[];
headers = "Content-Type: application/json\r\n";
StringReplace(text, "\n", "\\n");
data = "{\"content\":\""+text+"\"}";
ArrayResize(post,StringToCharArray(data,post,0,WHOLE_ARRAY,CP_UTF8)-1);
int res=WebRequest("GET",url,headers,5000,post,result,headers);
if(res == -1){
Print(__FUNCTION__ + " Error code =",GetLastError(),data);
return(false);
}
//--- Receive a link to the image uploaded to the server
str=CharArrayToString(result);
return(str);
}
Fast-API
丸一日かかって、とりあえずＡＰＩ連携させるところまで完了した。
苦労したところは、POST側のバリデーションの部分。
何回もエラーになったが、結局、以下のコードを参考にした。
EURUSD-BOP2.py
async def root(body=Body(...)):
global df1,df2,df3
time,peristr,value = body["content"].split("_")
EURUSD-BOP2.py
import pandas as pd
import datetime as dt
from pandas_datareader import data
import mplfinance as mpf
import torch
from torchvision.datasets import ImageFolder
from torchvision import models, transforms
import torch.nn as nn
import numpy as np
import os
os.environ['KMP_DUPLICATE_LIB_OK']='True'
df1 = pd.read_csv(r'C://Users//User//Desktop//EURUSD.oj5k1.csv', sep=",",names=('date', 'time', 'open', 'high', 'low', 'close', 'volume'))
df1.index = pd.to_datetime(df1['date']+" "+df1['time'])
df2 = pd.read_csv(r'C://Users//User//Desktop//EURUSD.oj5k5.csv', sep=",",names=('date', 'time', 'open', 'high', 'low', 'close', 'volume'))
df2.index = pd.to_datetime(df2['date']+" "+df2['time'])
df3 = pd.read_csv(r'C://Users//User//Desktop//EURUSD.oj5k15.csv', sep=",",names=('date', 'time', 'open', 'high', 'low', 'close', 'volume'))
df3.index = pd.to_datetime(df3['date']+" "+df3['time'])
EURUSD-BOP2.py
from PIL import Image
import matplotlib.pyplot as plt
from tqdm import tqdm
import pdb
def min_max(x, axis=None):
min = x.min(axis=axis, keepdims=True)
max = x.max(axis=axis, keepdims=True)
result = (x-min)/(max-min)
return result
def imagemake(dfspan1,dfspan2,dfspan3):
a = min_max(np.array(dfspan1))
d = min_max(np.array(dfspan2))
g = min_max(np.array(dfspan3))
m = np.outer(a,a).astype(np.float32)
n = np.outer(d,d).astype(np.float32)
o = np.outer(g,g).astype(np.float32)
m1 = min_max(m[0:64,0:64])
m2 = min_max(m[16:80,16:80])
n1 = min_max(n[0:64,0:64])
n2 = min_max(n[16:80,16:80])
o1 = min_max(o[0:64,0:64])
o2 = min_max(o[16:80,16:80])
te1 = np.stack([m1,n1,o1])
te2 = np.stack([m2,n2,o2])
te3=np.concatenate([te2,te2], 2)#real = fake = te2で与える
te4=np.kron(te3, np.ones((4,4)))
tmp = torch.from_numpy(te4).clone()
return transforms.ToPILImage(mode='RGB')(tmp)
当然ながら、送る方も適当なので、受ける方も適当だ。
Jsonリクエストを、splitして適当にパラメータを抜いている。
PandasのTailに、更新データを突っ込む処理がだるい・・・
→ Pandasがますます嫌になった。
調べ物をしていて、チートシートを発見した。→ 外人さんマメやなあ。。。
chrome-extension://dnkjinhmoohpidjdgehjbglmgbngnknl/pdf.js/web/viewer.html?file=https%3A%2F%2Fwww.webpages.uidaho.edu%2F~stevel%2Fcheatsheets%2FPandas%2520DataFrame%2520Notes_12pages.pdf
EURUSD-BOP2.py
from fastapi import Body
from fastapi import FastAPI
app = FastAPI()
@app.post("/gettick/")
async def root(body=Body(...)):
global df1,df2,df3
time,peristr,value = body["content"].split("_")
s=pd.DataFrame({"close": [value]}, index=[time])
s.index = pd.to_datetime(s.index)
if int(peristr)==1:
df1 = df1.append(s)
grouped = df1.groupby(level=0)
df1 = grouped.last()
df1=df1.sort_index(ascending=True)
elif int(peristr)==2:
df2 = df2.append(s)
grouped = df2.groupby(level=0)
df2 = grouped.last()
df2=df2.sort_index(ascending=True)
elif int(peristr)==3:
df3 = df3.append(s)
grouped = df3.groupby(level=0)
df3 = grouped.last()
df3=df3.sort_index(ascending=True)
return peristr+"ok"
@app.get("/getlasttime/")
async def gettime():
global df1,df2,df3
return {"m1":df1.tail(1).index.astype(str)[0].replace("-","."),"m5":df2.tail(1).index.astype(str)[0].replace("-","."),"m15":df3.tail(1).index.astype(str)[0].replace("-",".")}
@app.get("/predict/")
async def predict():
global df1,df2,df3
df11 = [x for x in df1[-96:]['close']]
df22 = [x for x in df2[-96:]['close']]
df33 = [x for x in df3[-96:]['close']]
img = imagemake( df11, df22, df33)
fn = df1.tail(1).index.astype(str).values.tolist()
fname = "datasets/facades2/test/" + fn[0].replace(":","_") + "sk.png"
if len(fn[0])<16:
fname = fname.replace("sk.png"," 00_00_00sk.png")
img.save(fname)
return {"image":fname}
どうやら、メタトレードはPORT80しか使えないらしい。
EURUSD-BOP2.py
import nest_asyncio
import uvicorn
if __name__ == "__main__":
nest_asyncio.apply()
uvicorn.run(app, port=80)
まとめ
機械学習アプリの学習を兼ねて、MT4とFastAPIの連携を書いてみた。
シグナルを取り出すところは、コマンドラインからPIX2PIXを呼び出す必要があり、出来ていない。
Pandasはtimeindexがメンドクサイ → MT4とPANDASで、TIMEDATAのフォーマットが違う
Pandasがめんどくさいので、データベースモデルに突っ込もうかなあ・・・ その方がCRUDの練習もできるし・・・