使用するデータについて

今回は北海道のとある河川の水位をVotingを使用して予測してみました。期間は2023/8/1 1:00　～　2023/8/18 0:00です。

目的変数（河川水位）は以下より取得しました。

説明変数（降水量、湿度、etc.）は以下より取得しました。

今回はテストデータとトレーニングデータは同一のものとしています（クローズドテスト）。使用するcsvファイルの中身は以下の通りです。河川水位(m)は"A"、その他の変数は"B"～"K"の任意の変数を割り当てています。

date     A     B    C     D     E   F       G    H    I     J     K  
0      2023/8/1 1:00  5.69  23.0  0.0  24.7  20.9  88  1010.8  0.0  0.8  0.00  1007.8 
1      2023/8/1 2:00  5.70  22.5  0.0  25.1  21.1  92  1010.9  0.0  0.3  0.00  1007.9 
2      2023/8/1 3:00  5.74  22.6  0.0  24.7  20.9  90  1011.0  0.0  0.2  0.00  1008.0
3      2023/8/1 4:00  5.72  22.1  0.0  23.7  20.2  89  1011.1  0.0  1.2  0.00  1008.1  
4      2023/8/1 5:00  5.70  21.6  0.0  23.0  19.7  89  1011.4  0.0  1.0  0.03  1008.4 
..               ...   ...   ...  ...   ...   ...  ..     ...  ...  ...   ...     ...
403  2023/8/17 20:00  5.69  26.5  0.0  22.5  19.4  65  1006.4  0.0  5.8  0.00  1003.4 
404  2023/8/17 21:00  5.69  26.4  0.0  22.4  19.3  65  1007.3  0.0  1.5  0.00  1004.3 
405  2023/8/17 22:00  5.68  25.8  0.0  22.9  19.7  69  1008.0  0.0  0.2  0.00  1005.0 
406  2023/8/17 23:00  5.68  25.4  0.0  23.4  20.0  72  1008.4  0.0  3.2  0.00  1005.4 
407   2023/8/18 0:00  5.68  25.0  0.0  23.8  20.3  75  1008.5  0.0  2.3  0.00  1005.5 

[408 rows x 12 columns]

VotingRegressorについて

複数の予測モデルの平均であるVotingRegressorの予測結果を出力したいと思います。

使用する予測モデルは以下です。

Random Forest
Gradient Boosting
Linear Regression
Elastic Net

実装コード

# モジュール
import os
import numpy as np
import pandas as pd

# バージョンチェック
import sys
print('python', sys.version)
import sklearn
print('sklearn', sklearn.__version__)

# 機械学習系ライブラリ
import xgboost as xgb
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.ensemble import RandomForestRegressor
from sklearn.linear_model import LinearRegression
from sklearn.linear_model import ElasticNetCV

# VotingRegressor
from sklearn.ensemble import VotingRegressor

#ハイパーパラメータ探索
from functools import partial

# 精度評価用ライブラリ
from sklearn.metrics import r2_score

# RMSE(Root Mean Squared Error)
from sklearn.metrics import mean_squared_error

# グラフ描画系ライブラリ
import matplotlib.pyplot as plt

出力

python 3.11.0 (main, Oct 24 2022, 18:26:48) [MSC v.1933 64 bit (AMD64)]

sklearn 1.1.3

# データの準備
class Data():
    def __init__(self, CV_data, test_data):
        self.CV_data = CV_data
        self.test_data = test_data
    # 標準化
    def standard(self, df, df_train):
        train_mean = df_train.mean()
        train_std = df_train.std()
        return (df - train_mean)/train_std
    # 予測する変数の分離
    def variable(self, data, target_index):
        return data.drop(target_index, axis=1)
    # dateの分離
    def sep_date(self, AA_data):
        return AA_data.date, AA_data.drop('date', axis=1)
    # データの処理
    def create_data(self, obj_path, std_path):
        obj_data = pd.read_csv(obj_path, encoding='shift-jis')
        CV_data = pd.read_csv(std_path, encoding='shift-jis')
        # 日付の保存
        test_date = Data.sep_date(self, obj_data)[0]
        # dateの分離
        obj_data = Data.sep_date(self, obj_data)[1]
        CV_data = Data.sep_date(self, CV_data)[1]
        # AA_data = sep_date(AA_data)[1].astype('int')
        # 目的変数の指定
        target_index = ['A']
        obj_target = obj_data[target_index]
        CV_target = CV_data[target_index]
        # 説明変数の指定
        obj_exp = Data.variable(self, obj_data, target_index)
        CV_exp = Data.variable(self, CV_data, target_index)
        # 標準化
        std_exp, std_target = Data.standard(self, obj_exp, CV_exp), Data.standard(self, obj_target, CV_target)
        return test_date, std_exp, std_target 
    # 学習データ
    def cv_create(self, CV_data):
        CV_date, CV_exp, CV_target = Data.create_data(self, os.getcwd() + os.sep + 'data.csv', os.getcwd() + os.sep + 'data.csv')
        return CV_date, CV_exp, CV_target
    # テストデータ
    def test_create(self, CV_data, test_data):
        test_date, test_exp, test_target = Data.create_data(self, os.getcwd() + os.sep + 'data.csv', os.getcwd() + os.sep + 'data.csv')
        return test_date, test_exp, test_target

# Voting
class MachineMethods():
    def __init__(self, result, p_flag=True, n_trials=10):
        self.result = result
        self.p_flag = p_flag
        self.n_trials = n_trials
    def voting(self):
        estimators = []
        model1 = GradientBoostingRegressor(random_state=1, n_estimators=10) ; estimators.append(('gb', model1))
        model2 = RandomForestRegressor(random_state=1, n_estimators=10) ; estimators.append(('rf', model2))
        model3 = LinearRegression(normalize=True) ; estimators.append(('lr', model3))
        model4 = ElasticNetCV(l1_ratio=0.5, cv=5, positive=True) ; estimators.append(('en', model4))
        pred1 = model1.fit(test_exp, test_target).predict(test_exp)
        pred2 = model2.fit(test_exp, test_target).predict(test_exp)
        pred3 = model3.fit(test_exp, test_target).predict(test_exp)
        pred4 = model4.fit(test_exp, test_target).predict(test_exp)
        # 分類器を学習する
        ereg = VotingRegressor(estimators) 
        pred_voting = ereg.fit(test_exp, test_target).predict(test_exp)
        return pred1, pred2, pred3, pred4, pred_voting  
    def drawing(self):
        plt.figure(figsize=(12, 6))
        plt.plot(test_date, test_target, label='observed')
        plt.plot(test_date, pred1, label='gb')
        plt.plot(test_date, pred2, label='rf')
        plt.plot(test_date, pred3, label='lr')
        plt.plot(test_date, pred4, label='en')
        plt.plot(test_date, pred_voting, label='voting')
        plt.legend()
        plt.savefig("result.png")
        plt.show()

data1 = Data('data', 'data')
CV_date, CV_exp, CV_target = data1.cv_create('data')
test_date, test_exp, test_target = data1.test_create('data', 'data')
result1 = MachineMethods('data')
pred1, pred2, pred3, pred4, pred_voting = result1.voting()
result1.drawing()

予測結果

コードが汚いなあと思いながら、学生時代に書いたコードなのでご愛敬。クローズドテストということもありランダムフォレストによる予測結果が一番良さそう？

もちろん予測結果は全く参考になりません。各モデルのパラメータのチューニングを実施しているわけではないので．．．

今回は気象データから河川水位を複数の機械学習法で予測し、votingの実装まで至ることが出来ました。各予測モデルのアルゴリズムについては完全に理解できていないものあるので、そのうち勉強しようと思います。

参考