the previous and today's result（前回と今回の結果）

	やったこと	score
前回	ハイパーパラメータのチューニング	0.13948
今回	k分割交差検証によるvalidation	-

今回は、精度改善は行っていません。

今回の変更点は以下の通り

	validation方法
これまで	ホールドアウト法で分割したtrainingデータとvalidationデータを用いてvalidation結果を算出
今回（今回以降）	`validation結果を交差検証で算出できるようにした`

なので、スコアの変化はありません。

Why?

ホールドアウト法だと、どうしても検証に用いられるデータが偏ってしまうため、たまたま行われたデータ分割によって、損失が妙に改善したり全然改善しなかったり、、、ということが起こり得ます。実際起きてた(´；ω；｀)

そこで、検証(validation)時におけるデータ分割の偏りを少しでも減らすために、k分割交差検証法を用いることにしました。

さて、実際にやったことを見ていきます。

1. source cord

1-1. same as the previous cord

この「1-0.」はこれまで同じことをしています(^ワ^*)
ただし、今後前処理などを追加しやすいように、関数化するなど少しリファクタリングしておきました。

内容としては以下の通り。

モジュール読み込み
データ読み込み
数値特徴量のカテゴリ変数化
特徴量の追加と削除
前処理
- One-hot encoding
trainingデータとtestデータの用意
ハイパーパラメータチューニング

#####################################################################
# 1. import modules
#####################################################################
from typing import Callable, Dict, List, Union

import numpy as np # linear algebra
import pandas as pd # data processing, CSV file I/O (e.g. pd.read_csv)
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
from sklearn.preprocessing import LabelEncoder
import xgboost as xgb
from xgboost import XGBRegressor, plot_importance

# 分析の下準備
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline


#####################################################################
# 2. load data
#####################################################################
import os
for dirname, _, filenames in os.walk('/kaggle/input'):
    for filename in filenames:
        print(os.path.join(dirname, filename))
train = pd.read_csv('/kaggle/input/house-prices-advanced-regression-techniques/train.csv')
test = pd.read_csv('/kaggle/input/house-prices-advanced-regression-techniques/test.csv')

#####################################################################
# 3. cast columns
#####################################################################
train['MSSubClass'] = train['MSSubClass'].apply(str)
train['YrSold'] = train['YrSold'].astype(str)
train['MoSold'] = train['MoSold'].astype(str)
test['MSSubClass'] = test['MSSubClass'].apply(str)
test['YrSold'] = test['YrSold'].astype(str)
test['MoSold'] = test['MoSold'].astype(str)

#####################################################################
# 4. 特徴量の追加と削除
#####################################################################
# 4-1. add new column
train['totalRoomsSF'] = train['1stFlrSF'] + train['2ndFlrSF'] + train['TotalBsmtSF']
test['totalRoomsSF'] = test['1stFlrSF'] + test['2ndFlrSF'] + test['TotalBsmtSF']

# 4-2. drop ID column
train_ID = train['Id']
test_ID = test['Id']
train = train.drop(['Id'], axis=1)
test = test.drop(['Id'], axis=1)

#####################################################################
# 5. 前処理
#####################################################################
def one_hot_encoding(x: pd.DataFrame) -> pd.DataFrame:
    """
    渡された DataFrame に One-Hot Encoding を行う

    DataFrameからは目的変数を除外しておく
    """
    encode_target_columns: List[str] = list(x.columns[x.dtypes == 'object'])
    return pd.get_dummies(x, columns=encode_target_columns)

def preprocess_whole_data(
    train: pd.DataFrame,
    test: pd.DataFrame,
    preprocessings: List[Callable[[pd.DataFrame], pd.DataFrame]],
) -> Dict[str, Union[pd.DataFrame, pd.Series]]:
    """
    前処理をまとめて行う
    """
    # trainとtestどちらかにしか存在しない値を考慮したencodingを行うために、いったん行方向に結合してget_dummiesにかける
    train['for_train'] = True
    test['for_train'] = False
    df_all_data = pd.concat([train, test])

    for preprocess in preprocessings:
        df_all_data = preprocess(df_all_data)

    preprocessed_train = df_all_data.loc[df_all_data['for_train'], :]
    preprocessed_test = df_all_data.loc[~df_all_data['for_train'], :]
    preprocessed_train_y = preprocessed_train['SalePrice']
    preprocessed_train_x = preprocessed_train.drop(['for_train', 'SalePrice'], axis=1)
    preprocessed_test = preprocessed_test.drop(['for_train', 'SalePrice'], axis=1)
    return {
        'train_x': preprocessed_train_x,
        'train_y': preprocessed_train_y,
        'test': preprocessed_test,
    }


# NOTE: 実行する前処理関数をまとめておく
preprocessings: List[Callable[[pd.DataFrame], pd.DataFrame]] = [
    one_hot_encoding,
]

result: Dict[str, Union[pd.DataFrame, pd.Series]] = preprocess_whole_data(
    train, test, preprocessings
)

#####################################################################
# 6. trainingデータとtestデータの用意
#####################################################################
# NOTE: 前処理済みのデータ達
preprocessed_train_x = result['train_x']
preprocessed_train_y = result['train_y']
preprocessed_test = result['test']

#####################################################################
# 7. ハイパーパラメータのチューニング
#####################################################################
# NOTE: ハイパーパラメータチューニング用のデータ分割
x_train, x_test, y_train, y_test = \
    train_test_split(preprocessed_train_x, preprocessed_train_y, test_size=0.20, random_state=0)
x_train.head()

# NOTE: ハイパーパラメータチューニングに必要なものたちを用意
import time
from sklearn.model_selection import KFold, cross_val_score
import optuna

seed = 42  # 乱数シード
model = XGBRegressor(n_estimators=20, random_state=0)
cv = KFold(n_splits=3, shuffle=True, random_state=seed)
scoring = 'neg_mean_squared_error'
# 学習時fitパラメータ指定
fit_params = {
    'verbose': 0,  # 学習中のコマンドライン出力
    'early_stopping_rounds': 5,  # 学習時、評価指標がこの回数連続で改善しなくなった時点でストップ
    'eval_metric': 'rmse',  # early_stopping_roundsの評価指標
    'eval_set': [(x_test, y_test)],  # early_stopping_roundsの評価指標算出用データ
}
start = time.time()

# ベイズ最適化時の評価指標算出メソッド
def bayes_objective(trial):
    params = {
        # 'n_estimators': trial.suggest_int('n_estimators', 10, 100),
        'learning_rate': trial.suggest_float('learning_rate', 0.01, 0.3, log=True),
        'min_child_weight': trial.suggest_int('min_child_weight', 2, 8),
        'max_depth': trial.suggest_int('max_depth', 1, 4),
        'colsample_bytree': trial.suggest_float('colsample_bytree', 0.2, 1.0),
        'subsample': trial.suggest_float('subsample', 0.2, 1.0),
        'reg_alpha': trial.suggest_float('reg_alpha', 0.001, 0.1, log=True),
        'reg_lambda': trial.suggest_float('reg_lambda', 0.001, 0.1, log=True),
        'gamma': trial.suggest_float('gamma', 0.0001, 0.1, log=True),
    }
    # モデルにパラメータ適用
    model.set_params(**params)
    # cross_val_scoreでクロスバリデーション
    scores = cross_val_score(
        model, x_train, y_train, cv=cv,
        scoring=scoring, fit_params=fit_params,
        n_jobs=-1
    )
    val = scores.mean()
    return val

# ベイズ最適化を実行
study = optuna.create_study(
    direction='maximize',
    sampler=optuna.samplers.TPESampler(seed=seed)
)
study.optimize(bayes_objective, n_trials=200)

# 最適パラメータの表示と保持
best_params = study.best_trial.params
best_score = study.best_trial.value
print(f'最適パラメータ {best_params}\nスコア {best_score}')
print(f'所要時間{time.time() - start}秒')

結構ソースが書き変わりましたが、実行結果は前回までの結果と同じです。

1-2. Newly added lines

今回はここからk分割交差検証を行っていきます。

といっても、これだけです！

# NOTE: これからも使い回したいので、関数として定義しました
def cross_validation_with_xgb(x: pd.DataFrame, y: pd.Series, best_params: dict = None) -> pd.DataFrame:
    """
    Args:
        x (pd.DataFrame): explanatories
        y (pd.Series): target
        best_params (dict): best parameters gotten by tuning

    Returns:
        pd.DataFrame: the result of cross validation
    """
    # NOTE: データをXGBoost用のデータフォーマットに変換しておく
    dtrain = xgb.DMatrix(x, label=y)

    params = {
        'silent': 1,
        'objective': 'reg:linear',
        'eval_metric': 'rmse',
        'random_state': 0,
    }
    if best_params is not None:
        params.update(best_params)

    df_result = xgb.cv(
        params,
        dtrain,
        num_boost_round=100,
        nfold=5,
        early_stopping_rounds=10,
        metrics={'rmse'},
        verbose_eval=True,
    )
    return df_result


df_result: pd.DataFrame = cross_validation_with_xgb(
    x=preprocessed_train_x,
    y=preprocessed_train_y,
    best_params=best_params,
)
print(df_result.tail())

# 出力
    train-rmse-mean  train-rmse-std  test-rmse-mean  test-rmse-std
68     10691.215820      396.209062    27220.047266    5123.965290
69     10599.747461      405.167838    27194.023047    5111.387485
70     10548.596875      390.021197    27175.182031    5097.015552
71     10472.419727      373.892243    27197.732422    5068.619820
72     10413.960547      387.915821    27165.434375    5075.691233

ということで、前回までの改善結果をk分割交差検証で検証したら、

	RMSE
train	10413.960547
test	27165.434375

という結果になりました。
さて、次回以降はこの交差検証で求めたRMSEを元にして改善していきます。

ホールドアウト法による検証よりもRMSEが安定してくれたら嬉しい(´^ω^｀)

1-3. 学習曲線を確認

※ここは、正直言ってやる必要はないです。

個人的に、遊びたくてグラフ描画してみました。
こういう遊びが開発の時間を潤してくれてます(´^ω^｀)ﾌﾞﾌｫ

さて、k分割交差検証での学習曲線はこんな感じで描画しました。

def plot_xgb_cv_result(df_result: pd.DataFrame) -> None:
    x = df_result.index
    train_mean = df_result['train-rmse-mean']
    train_std  = df_result['train-rmse-std']
    valid_mean = df_result['test-rmse-mean']
    valid_std  = df_result['test-rmse-std']

    # plot training error
    plt.plot(x, train_mean, color='blue', label='training error')
    plt.fill_between(x, train_mean + train_std, train_mean - train_std, alpha=0.15, color='blue')
    plt.plot(x, train_mean + train_std, color='blue', label='train error + 1σ')
    plt.plot(x, train_mean - train_std, color='blue', label='train error - 1σ')

    # plot validation error
    plt.plot(x, valid_mean, color='green', linestyle='--', label='validation error')
    plt.fill_between(x, valid_mean + valid_std, valid_mean - valid_std, alpha=0.15, color='green')
    plt.plot(x, valid_mean + valid_std, color='green', label='valid error + 1σ')
    plt.plot(x, valid_mean - valid_std, color='green', label='valid error - 1σ')

    # specify label and legend
    plt.xlabel('rounds')
    plt.ylabel('RMSE')
    plt.legend(loc='best')
    # グラフを描画
    plt.show()

plot_xgb_cv_result(df_result)

こんなのが表示された(((o(*ﾟ▽ﾟ*)o)))

2. Next step

今度こそ、目的変数を対数変換して学習させ、精度改善を試みた結果を記事にしていきます。（既に結果は出ている）

3. References

今回参考にした記事です。

cross validationのやり方について

matplotlib での mean + std の描画方法

平均(mean)と標準偏差(std)の考え方について

4. シリーズ一覧

No	New Trial	Score	Link	Note
1	xgboost	0.15663	こちら
2	Label Encoding	0.15160	こちら
3	Add and delete column	0.15140	こちら
4	Make integer into categorical	0.14987	こちら
5	One hot Encoding	0.14835	こちら
6	Hyper parameters tuning	0.13948	こちら
7	k fold cross validation	-	本記事	submitせず
8	Logarithimic transformation	0.13347		記事未作成