9
8

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

2. Pythonで綴る多変量解析 6-2. リッジ回帰・ラッソ回帰(scikit-learn)[リッジ回帰vsラッソ回帰]

Last updated at Posted at 2020-07-30
  • 重回帰から派生したリッジ回帰・ラッソ回帰は、重回帰の過学習を抑制するしくみを持っていますが、具体的には次式のとおりです。

2_6_2_01.PNG

  • リッジ回帰が重みの2乗を扱うのに対して、ラッソ回帰は重みの絶対値となっています。
  • 前節のくり返しになりますが、従来の重回帰分析は、予測値と観測値の2乗和誤差を最小にする係数を求めます。これに、変数の数と重みに応じたペナルティを加えることで、係数が大きな値になることを防ぎます。

ここでは、ラッソ回帰もまじえて3つの重回帰モデルを比較してみたいと思います。

####⑴ ライブラリのインポート

# データ加工・計算・分析ライブラリ
import numpy as np
import pandas as pd

# グラフ描画ライブラリ
import matplotlib.pyplot as plt
%matplotlib inline

# 機械学習ライブラリ
import sklearn

####⑵ データの取得と読み込み

# データを取得
url = 'https://raw.githubusercontent.com/yumi-ito/datasets/master/datasets_auto_4variables_pre-processed.csv'

# 取得したデータをDataFrameオブジェクトとして読み込み
df = pd.read_csv(url, header=None)

# 列ラベルを設定
df.columns = ['width', 'height', 'horsepower', 'price']

print(df)

2_6_2_02.PNG

  • 自動車に関する諸種の仕様のうちwidth(車幅)、height(車高)、horsepower(馬力)という3つを説明変数として、目的変数のprice(価格)を予測するためのデータです。
  • データソースや概要などの詳細はこちら。https://qiita.com/y_itoh/items/9befbf47869d66337dad
  • なお、不明値「?」および欠損値は削除済み、またデータ型もfloat型、int型に変換済みです。
# データ形状の確認
print('データ形状:', df.shape)

# 欠損値の確認
print('欠損値の数:{}\n'.format(df.isnull().sum().sum()))

# データ型の確認
print(df.dtypes)

2_6_2_03.PNG

####⑶ 訓練データ・テストデータの分割

# モデル構築のためのインポート
from sklearn.linear_model import Ridge, Lasso, LinearRegression

# データ分割のためのインポート
from sklearn.model_selection import train_test_split
  • pandasのdrop()関数でprice列を削除して説明変数のみをxとし、またpriceのみをyと設定します。
  • sklearnのtrain_test_splitメソッドで、説明変数x、目的変数yをそれぞれ訓練データ(train)とテストデータ(test)に分けます。
# 説明変数と目的変数を設定
x = df.drop('price', axis=1)
y = df['price']

# 訓練データとテストデータに分割
X_train, X_test, Y_train, Y_test = train_test_split(x, y, test_size=0.5, random_state=0)

####⑷ モデルの生成と評価

  • 重回帰、リッジ回帰、ラッソ回帰を一まとめに初期化して、for文によってモデル生成、訓練データの正解率、テストデータの正解率の算出までを一気に回します。
# 各クラスを初期化してdict型変数のmodelsに格納
models = {
    'linear': LinearRegression(),
    'ridge': Ridge(random_state=0),
    'lasso': Lasso(random_state=0)}

# 正解率を格納するdict型変数を初期化
scores = {}

# 各モデルを順次生成し、正解率を算出して格納
for model_name, model in models.items():
    # モデル生成
    model.fit(X_train, Y_train)
    # 訓練データの正解率
    scores[(model_name, 'train')] = model.score(X_train, Y_train)
    # テストデータの正解率
    scores[(model_name, 'test')] = model.score(X_test, Y_test)

# dict型をpandasの1次元リストに変換
print(pd.Series(scores))
  • dictオブジェクトをそのままfor文で回すと各要素のkeyが取得されますが、items():を使えば各要素のkeyとvalueの両方を取得できます。
  • sklearnのscore()関数で正解率を算出し、model_nametraintestのいずれかをセットでkeyとして格納します。

2_6_2_04.PNG

重回帰 リッジ回帰 ラッソ回帰
訓練データの正解率 0.733358 0.733355 0.733358
テストデータの正解率 0.737069 0.737768 0.737084
  • 訓練データの正解率は、リッジ回帰<ラッソ回帰=重回帰という大小関係で、またテストデータの正解率は、リッジ回帰>ラッソ回帰>重回帰となりました。
  • ラッソ回帰に注目すると、訓練データでの正解率は重回帰と同率で、テストデータでは、リッジ回帰ほどではないが重回帰を少し上回っています。
  • ただし、**正則化の強さを指定するパラメータ$λ$**はまだ手つかずのままで、scikit-learnのデフォルトはどちらも$λ=1.0$です。

そこで、正則化パラメータを変更して比較してみたいと思います。

##正則化パラメータ

  • 正則化の強さを指定するパラメータ$λ$は、大きくすればペナルティの影響が強くなるので、回帰係数の絶対値は小さく抑えられます。

2_6_2_05.PNG

  • パラメータの設定は、クラスを初期化してモデルのひな型を作る際、引数にalpha=で指定します。$alpha=10.0$で試してみます。
# パラメータ設定
alpha = 10.0

# 各クラスを初期化してmodelsに格納
models = {
    'ridge': Ridge(alpha=alpha, random_state=0),
    'lasso': Lasso(alpha=alpha, random_state=0)}

# 正解率を格納するdict型変数を初期化
scores = {}

# 各モデルを順次実行し、正解率を格納していく
for model_name, model in models.items():
    model.fit(X_train, Y_train)
    scores[(model_name, 'train')] = model.score(X_train, Y_train)
    scores[(model_name, 'test')] = model.score(X_test, Y_test)

print(pd.Series(scores))

2_6_2_06.PNG

  • 以下に、正則化パラメータ$λ$を段階的に変えてみた結果を示します。
λ Ridge(train) Ridge(test) Lasso(train) Lasso(test)
1 0.733355 0.737768 0.733358 0.737084
10 0.733100 0.743506 0.733357 0.737372
100 0.721015 0.771022 0.733289 0.740192
200 0.705228 0.778607 0.733083 0.743195
400 0.680726 0.779004 0.732259 0.748795
500 0.671349 0.777338 0.731640 0.751391
1000 0.640017 0.767504 0.726479 0.762336
  • この例では、まずリッジ回帰は、概して訓練データでは下振れぎみでテストデータになると逆転するという傾向がみられ、$λ$が大きくなるほどその傾向は顕著です。対してラッソ回帰は、全般に挙動がゆるやかで、$λ$が大きくなっても訓練データでの歩留りがよく、かつテストデータの正解率は$λ$が大きくなるにつれて少しずつ高くなります。
  • 単に係数を2乗するか絶対値をとるかの違いですが、ペナルティの大きさは係数によってラッソ回帰の方が大きくもなりますし、要するに影響のしかたのタイプが異なるのです。
  • それぞれの正則化の効果について、係数との関係も考え合わせてさらに一歩を進めてみたいと思います。
9
8
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
9
8

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?