PythonでRのglmnetで描かれるみたいなグラフが書いてみたかった
PythonでLasso回帰の問題点は
とりあえずPythonでScikit-Learn使ってLasso回帰を計算している人はいますよね。私もPythonで計算しています。でも、Rのglmnetで計算している人のLassoのグラフを見るとうらやましく感じます。
Rのグラフは、こんなグラフです。。R/glmnet パッケージで LASSO によるスパース推定を行う方法から転載。
なんかわかりやすいですよね。$λ$(PyhonのScikit-Learnならalphaです)が変化していくと、どう回帰係数が変化していくか一目瞭然です。でも、こういうのはScikit-Learnには実装されていません。
私もこんなグラフ作りたーーーい！！と思って、今回pythonのスクリプトを作りました。こういうグラフがないとスパースモデリングなんてできないよね。Scikit-Learnで、スコアと回帰係数だけ出しても、Lassoで行うスパースモデリングの実力を見ていないような気がするんですよね。
Pythonでglmnetで出てくるみたいなグラフを作ってみた
そんなこんなで、For文使って、自分で作ってみました。
いろいろ考えましたが、べたなやり方で、numpyで作った数値をFor文で、alpha(lambda)にいれながら、Lasso回帰を繰り返して、回帰係数とスコアを計算しました。
# -*- coding: utf-8 -*-
from sklearn import datasets
from sklearn.model_selection import train_test_split
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import Lasso
#ボストンのデータセットを読み込む
boston = datasets.load_boston()
alpha_lasso = []
coef_list = []
intercept_list = []
train_score = []
test_score = []
#print(boston['feature_names'])
#特徴量と目的変数をわける
X = boston['data']
y = boston['target']
X_train, X_test, y_train, y_test = train_test_split(X, y, train_size=0.8,random_state = 0)
#探索範囲を決めます
lasso_1 = np.linspace(0.01,100,1000)
for i in lasso_1:
#Lasso回帰モデルを訓練して作成
Lasso_regr = Lasso(alpha = i, max_iter=10000)
Lasso_regr.fit(X_train,y_train)
pre_train = Lasso_regr.predict(X_train)
pre_test = Lasso_regr.predict(X_test)
#結果の表示
print("alpha=",i)
print("訓練データにフィット")
print("訓練データの精度 =", Lasso_regr.score(X_train, y_train))
print("テストデータにフィット")
print("テストデータの精度 =", Lasso_regr.score(X_test, y_test))
alpha_lasso.append(i)
coef_list.append(Lasso_regr.coef_)
intercept_list.append(Lasso_regr.intercept_)
train_score.append(Lasso_regr.score(X_train, y_train))
test_score.append(Lasso_regr.score(X_test, y_test))
df_count = pd.Series(alpha_lasso,name = 'alpha')
df_coef= pd.DataFrame(coef_list,columns = boston.feature_names)
df_inter = pd.Series(intercept_list,name = 'intercept')
df_train_score = pd.Series(train_score,name = 'trian_score')
df_test_score = pd.Series(test_score,name = 'test_score')
#ここでalphaと回帰係数のグラフを作ります
plt.plot(df_count,df_coef)
plt.xscale('log')
plt.legend(labels = df_coef.columns,loc='lower right',fontsize=7)
plt.xlabel('alpha')
plt.ylabel('coefficient')
plt.title('alpha vs cosfficent graph like R/glmnet')
plt.show()
#ここでalphaと回帰係数のグラフを作ります
df_score = pd.concat([df_train_score,df_test_score], axis=1)
plt.plot(df_count,df_score)
plt.xscale('log')
plt.legend(labels = df_score.columns,loc='lower right',fontsize=8)
plt.xlabel('alpha')
plt.ylabel('r2_score')
plt.title('alpha vs score(train/test)')
plt.show()
できたグラフです。
こうやって、回帰係数をスパース化しているグラフとスコアのグラフを比較してみると、どのくらいにalphaをしたらよいか、一目でわかります。デフォルトの１ではなくて、０．５あたりが良いような気がします。これ以上大きいとスコアが落ちるし、これより小さくしてもスコアがあがらないのに、スパース化するときにいらないと判断した特徴量が入ってくる。だから０．５あたりがちょうどよいような感じですね。
Lassoで計算してスパースモデリングするなら！！
Lassoで計算してスパースモデリングするなら、Pythonでも、この2枚のグラフはいることがよくわかりました。