Ridge回帰（load_boston） #Python

今回は Ridge 回帰の実装（コード）をまとめていきます。

■ Ridge回帰の手順

次の7つのSTEPで進めます。

モジュールの用意
データの準備
パラメータの探索
モデルの作成
予測値の算出
残差プロット
モデルの評価

1. モジュールの用意

最初に、必要なモジュールをインポートしておきます。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# データセットを読み込むモジュール
from sklearn.datasets import load_boston

# 訓練データとテストデータを分割するモジュール
from sklearn.model_selection import train_test_split

# 標準化（分散正規化）を行うモジュール
from sklearn.preprocessing import StandardScaler

# パラメータ（alpha）を探索するモジュール
from sklearn.linear_model import RidgeCV

# パラメータ（alpha）をプロットするモジュール
from yellowbrick.regressor import AlphaSelection

# Ridge 回帰を実行するモジュール（最小二乗法＋L2正則化項）
from sklearn.linear_model import Ridge

2. データの準備

データの取得をした後、処理しやすいように分割を行います。


# Bostonデータセットの読み込み
boston = load_boston()

# 目的変数と説明変数に分ける
X, y = boston.data, boston.target

# 標準化（分散正規化）
SS = StandardScaler()
X = SS.fit_transform(X)

# 訓練データとテストデータに分割する
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.3, random_state=123)

標準化は、例えば2桁と4桁の特徴量（説明変数）があった際に、後者の影響が大きくなってしまうため
全ての特徴量に対して平均を0・分散を1にして、スケールを揃えています。

random_state では、データの分割結果が毎回同じになるようにシード値を固定しています。

3. パラメータの探索

Ridge 回帰では過学習を避けるために、最小二乗法の式に正則化項が追加されています。
alpha を大きくすると正則化が強くなり、小さくすると弱くなります。

最適な alpha を求めるため、訓練データに対してグリッドサーチと交差検証を行います。


# パラメータ（alpha）の探索区間を設定
alphas = np.logspace(-10, 1, 500)

# 訓練データを交差検証し、最適な alpha を求める
ridgeCV = RidgeCV(alphas = alphas)

# alpha をプロットする
visualizer = AlphaSelection(ridgeCV)
visualizer.fit(X_train, y_train)

visualizer.show()
plt.show()

＜出力結果＞

以上より、最適な alpha = 8.588 が求まりました。

4. モデルの作成

先ほど求めたパラメータ（alpha）を用いて、Ridge 回帰のモデルを作成していきます。


# Ridge回帰のインスタンスを作成
ridge = Ridge(alpha = 8.588)

# 訓練データからモデルを生成（最小二乗法＋正則化項）
ridge.fit(X_train, y_train)

# 切片を出力
print(ridge.intercept_)

# 回帰係数（傾き）を出力
print(ridge.coef_)

＜出力結果＞


lr.intercept_: 22.564747201001634

lr.coef_: [-0.80818323  0.81261982  0.24268597  0.10593523 -1.39093785  3.4266411
 -0.23114806 -2.53519513  1.7685398  -1.62416829 -1.99056814  0.57450373
 -3.35123162]

lr.intercept_：切片（重み $w_0$）
lr.coef_：回帰係数・傾き（重み $w_1$ ~ $w_{13}$）

よって、モデル式（回帰式）における具体的な数値が求まりました。

$ y = w_0 + w_1x_1+w_2x_2+ \cdots + w_{12}x_{12} + w_{13}x_{13}$

5. 予測値の算出

作成したモデル式にテストデータ（X_test）を入れ、予測値（y_pred）を求めます。


y_pred = lr.predict(X_test)
y_pred

＜出力結果＞


y_pred: [15.25513373 27.80625237 39.25737057 17.59408487 30.55171547 37.48819278
 25.35202855 ..... 17.59870574 27.10848827 19.12778747 16.60377079 22.13542152]

6. 残差プロット

モデルの評価をする前に、残差のプロットを見ておきます。

残差：予測値と正解値の差（y_pred - y_test）

# 描画オブジェクトとサブプロットの作成
fig, ax = plt.subplots()

# 残差のプロット
ax.scatter(y_pred, y_pred - y_test, marker = 'o')

# y = 0 の赤い直線をプロット
ax.hlines(y = 0, xmin = -10, xmax = 50, linewidth = 2, color = 'red')

# 軸ラベルを設定する
ax.set_xlabel('y_pred')
ax.set_ylabel('y_pred - y_test')

# グラフのタイトルを追加
ax.set_title('Residual Plot')

plt.show()

＜出力結果＞

赤い線（y_pred - y_test = 0）の上と下で、バランス良くデータが散らばっているので
予測値の出力に大きな偏りはないことが確認できます。

7. モデルの評価

今回は、決定係数を用いて評価をしていきます。


# 訓練データに対するスコア
print(ridge.score(X_train, y_train))

# テストデータに対するスコア
print(ridge.score(X_test, y_test))

＜出力結果＞


Train Score: 0.763674626990198
Test Score: 0.6462122981958535

■ 最後に

以上、上記1～7の手順に沿って、Ridge 回帰を行いました。

今回は初学者の方向けに、実装（コード）のみまとめさせていただきましたが
今後タイミングを見て、理論（数式）についても記事を作成していければと思います。

ご精読いただき、ありがとうございました。

参考文献：Pythonによるあたらしいデータ分析の教科書
　　　　（Python 3 エンジニア認定データ分析試験　主教材）