もくじ：回帰問題の処理手順
①欠損値の処理(①と②を繰り返す)
②基本的手順に沿ってデータの特徴を把握する
基本統計量
可視化
③特徴量生成
④重回帰モデルの作成と予測の実行
⑤予測結果の評価(RMSE)
⑥モデルの予測精度改善(⑤に戻る)
欠損値の処理
重要な関数
DataFrame.isnull().sum()
DataFrame.dropna()
DataFrame.fillna()
データ操作
# bedsがNaNになっているデータの抜き出し(SQLで言う select * where )
beds_nan_data = DataFrame[DataFrame['beds'].isnull()]
# bed_typeの種類ごとの件数を表示
print(beds_nan_data['bed_type'].value_counts())
# beds,bedrooms,bathroomsに欠損値を含むデータを削除
data = data.dropna(subset=['beds','bedrooms','bathrooms'])
# 変数mean_valにreview_scores_ratingの平均値を代入してください。
mean_val = data['review_scores_rating'].mean()
# review_scores_ratingの欠損値を平均値で補完してください。
data['review_scores_rating'] = data['review_scores_rating'].fillna(mean_val)
データの可視化
基本統計量
#要素の内容を表示
print(DataFrame['カラム名'].unique())
#要素の数を表示
print(DataFrame['カラム名'].nunique())
#重要:要素ごとの数を降順で表示
print(DataFrame['カラム名'].value_counts())
#2,4,7,7,10,12,13,17,20,22,30の統計量を表示する
#平均値、中央値、最大値などの値と最頻値を表示
s = pd.Series([2,4,7,7,10,12,13,17,20,22,30])
print(s.describe())
print(s.mode())
ヒストグラム、棒グラフ
# 変数dataからy列のみを抜き出し、変数yに代入しましょう
y = data['y']
# ヒストグラムの可視化
y.plot.hist(title='宿泊価格')
# 可視化結果を表示する為に必要な関数
plt.show()
# value_counts()の結果を棒グラフで表示
v = data['カラム名'].value_counts()
v.plot.bar()
plt.show()
外れ値の削除
# yが10以上のデータを抽出したい(10未満を削除したい)ので、条件はdata['y'] >= 10
# 削除前の行数を確認
before_rows = data.shape[0]
print(before_rows)
# 削除
data = data[data['y'] >= 10]
# 削除後の行数を確認
after_rows = data.shape[0]
print(after_rows)
箱ひげ図の描画
# 箱ひげ図の描画
sns.boxplot(data=DataFrame, x='横カラム名', y='縦カラム名')
# 表示範囲を制限
plt.ylim(0,600)
plt.show()
散布図の描画
DataFrame.plot.scatter(x='横カラム名', y='縦カラム名')
plt.show()
複数の条件で抜き出す
# dataからbathroomsが0.0でyが1000ドル以上のデータを抜き出して、表示させてください。
# 複数条件を満たす場合は DataFrame[(条件) & (条件)]
data_tmp = data[(data['bathrooms']==0.0) & (data['y'] >= 1000)]
特徴量の加工
関数
自作関数だと関数を定義した後に関数を呼び出す必要があるが、lambda関数だと関数定義と呼び出しが1行でできる。
# property.csvを読み込んで変数dataに代入しましょう。
mydata = pd.read_csv('property.csv')
# cleaning_feeがt,fになっているので1,0に変換してください。
def change_tf(x):
if x == 't':
return 1
elif x == 'f':
return 0
mydata['cleaning_fee'] = mydata['cleaning_fee'].apply(change_tf)
評価関数
RMSEの計算方法
# ライブラリのインポート
import numpy as np
from sklearn.metrics import mean_squared_error as MSE
# 変数の準備
actual = [3,4,6,2,4,6,1]
pred = [4,2,6,5,3,2,3]
# MSEの算出
mse = MSE(actual,pred)
print(mse)
# RMSEの算出
rmse = np.sqrt(mse)
print(rmse)
RMSEはscikit-learnに実装されていません。RMSEの平方根を取る前の値であるMSE(Mean Squared Error)は実装されています。MSEの平方根をとる部分を実装することでRMSEを算出しています。
線形回帰モデル
# LinearRegressionをインポートしましょう。
from sklearn.linear_model import LinearRegression
# モデルの準備
lr = LinearRegression()
# モデルを学習
lr.fit(X_train, y_train)
# 偏回帰係数の表示
print(pd.DataFrame(lr.coef_, index=X_train.columns))
# 切片の表示
print(lr.coef_)
# X_trainに対して予測するように空欄を埋めてください。
y_pred_train = lr.predict(X_train)
# 予測結果の確認
print(y_pred_train)
# 結果を丸めて表示
chk = int(round(y_pred_train[1]))
まとめ：説明変数、データ分割、モデル作成、モデル評価(RMSE)
# 予測に使用する説明変数、データ分割、モデル作成、モデル評価(RMSE)
select_columns = ['room_type','accommodates','bed_type','bathrooms','cleaning_fee']
dummy_data = pd.get_dummies(data[select_columns],drop_first=True)
X_train,X_test,y_train,y_test = train_test_split(dummy_data, data['y'], random_state = 1234)
lr = LinearRegression()
lr.fit(X_train, y_train)
y_pred_train = lr.predict(X_train)
# X_trainのRMSEを算出
rmse_train = np.sqrt(MSE(y_train, y_pred_train))
# 評価用に残しておいたX_testを使って予測
y_pred_test = lr.predict(X_test)
# X_testの予測に対するRMSEの算出
rmse_test = np.sqrt(MSE(y_test,y_pred_test))
# 学習および評価データに対するRMSEを表示
print(rmse_train)
print(rmse_test)
testデータに対するRMSEが約131であることから、このモデルは評価用データに対しては、実際の宿泊価格に対して、平均して131ドル程度の誤差がある予測をしていることが分かります。
3つのモデルを作成し、統合した結果の線形回帰分析結果を表示する
select_columns = ['room_type','accommodates','bed_type','bathrooms','cleaning_fee']
data_entire = data[data['room_type'] == 'Entire home/apt']
data_private = data[data['room_type'] == 'Private room']
data_share = data[data['room_type'] == 'Shared room']
dummy_data_entire = pd.get_dummies(data_entire[select_columns], drop_first=True)
dummy_data_private = pd.get_dummies(data_private[select_columns],drop_first=True)
dummy_data_share = pd.get_dummies(data_share[select_columns], drop_first=True)
X_train_e,X_test_e,y_train_e,y_test_e = train_test_split(dummy_data_entire, data_entire['y'], random_state = 1234)
X_train_p,X_test_p,y_train_p,y_test_p = train_test_split(dummy_data_private, data_private['y'], random_state = 1234)
X_train_s,X_test_s,y_train_s,y_test_s = train_test_split(dummy_data_share, data_share['y'], random_state = 1234)
model_e = LinearRegression()
model_e.fit(X_train_e, y_train_e)
pred_e_train = model_e.predict(X_train_e)
pred_e_test = model_e.predict(X_test_e)
model_p = LinearRegression()
model_p.fit(X_train_p, y_train_p)
pred_p_train = model_p.predict(X_train_p)
pred_p_test = model_p.predict(X_test_p)
model_s = LinearRegression()
model_s.fit(X_train_s, y_train_s)
pred_s_train = model_s.predict(X_train_s)
pred_s_test = model_s.predict(X_test_s)
# pred_e_train, pred_p_train, pred_s_trainを1つの配列にして、pred_trainに代入してください。
pred_train = np.concatenate([pred_e_train, pred_p_train, pred_s_train])
# 実際の値であるy_train_e,y_train_p,y_train_sを1つの配列にして、answer_trainに代入してください。
answer_train = np.concatenate([y_train_e,y_train_p,y_train_s])
# pred_train,answer_trainから全訓練データの予測値のRMSEを求め、rmse_trainに代入してください。
rmse_train = np.sqrt(MSE(pred_train, answer_train))
# 同様に全テストデータの予測値のRMSEを求め、rmse_testに代入してください。
pred_test = np.concatenate([pred_e_test, pred_p_test, pred_s_test])
answer_test = np.concatenate([y_test_e,y_test_p,y_test_s])
rmse_test = np.sqrt(MSE(pred_test, answer_test))
print(rmse_train)
print(rmse_test)
以上