はじめに
またまたRの勉強会に参加しました
今回は、機械学習の分類です、これはpythonの得意分野！と思ってましたが
解析データはRのほうが簡単に詳細出せます
色々なモデルをサクッと試すのはpythonの方が楽そうですが、細かく解析するのはRの方が得意な気がします
目的は、Rの講習会の内容をpythonではどうやって書くの？を復習かねて記録しています
環境
windows10 Pro 64bit
R :3.6.1
RStudio :1.2.1335
Google Colaboratoryを使用
Python :3.6.8
何するの?
Rに組み込まれているデータセットVehicleを用いて分類モデルを作成する
①決定木でモデルを作成/評価
②モデルの可視化
③改良/評価
④可視化
⑤ランダムフォレストで実行/評価
Rのコード
データ準備
・読み込み
・データ確認
・トレーニングデータ、テストデータ分割
data(Vehicle)
str(Vehicle)
'data.frame': 846 obs. of 19 variables:
$ Comp : num 95 91 104 93 85 107 97 90 86 93 ...
$ Circ : num 48 41 50 41 44 57 43 43 34 44 ...
$ D.Circ : num 83 84 106 82 70 106 73 66 62 98 ...
$ Rad.Ra : num 178 141 209 159 205 172 173 157 140 197 ...
$ Pr.Axis.Ra : num 72 57 66 63 103 50 65 65 61 62 ...
$ Max.L.Ra : num 10 9 10 9 52 6 6 9 7 11 ...
$ Scat.Ra : num 162 149 207 144 149 255 153 137 122 183 ...
$ Elong : num 42 45 32 46 45 26 42 48 54 36 ...
$ Pr.Axis.Rect: num 20 19 23 19 19 28 19 18 17 22 ...
$ Max.L.Rect : num 159 143 158 143 144 169 143 146 127 146 ...
$ Sc.Var.Maxis: num 176 170 223 160 241 280 176 162 141 202 ...
$ Sc.Var.maxis: num 379 330 635 309 325 957 361 281 223 505 ...
$ Ra.Gyr : num 184 158 220 127 188 264 172 164 112 152 ...
$ Skew.Maxis : num 70 72 73 63 127 85 66 67 64 64 ...
$ Skew.maxis : num 6 9 14 6 9 5 13 3 2 4 ...
$ Kurt.maxis : num 16 14 9 10 11 9 1 3 14 14 ...
$ Kurt.Maxis : num 187 189 188 199 180 181 200 193 200 195 ...
$ Holl.Ra : num 197 199 196 207 183 183 204 202 208 204 ...
$ Class : Factor w/ 4 levels "bus","opel","saab",..: 4 4 3 4 1 1 1 4 4 3 ...
set.seed(1234)
N <- nrow(Vehicle)
train_flg <- sample(1:N, 500, FALSE)
train <- Vehicle[train_flg,]
test <- Vehicle[-train_flg,]
> NROW(train)
[1] 500
> NROW(test)
[1] 346
①決定木でモデルを作成/評価
正解率は、0.4913
混合行列から、saabが予測できていないですね
fit <- ctree(Class ~., data = train,
controls=ctree_control(maxdepth = 2))
fit
Conditional inference tree with 4 terminal nodes
Response: Class
Inputs: Comp, Circ, D.Circ, Rad.Ra, Pr.Axis.Ra, Max.L.Ra, Scat.Ra, Elong, Pr.Axis.Rect, Max.L.Rect, Sc.Var.Maxis, Sc.Var.maxis, Ra.Gyr, Skew.Maxis, Skew.maxis, Kurt.maxis, Kurt.Maxis, Holl.Ra
Number of observations: 500
1) Elong <= 41; criterion = 1, statistic = 149.268
2) Max.L.Ra <= 7; criterion = 1, statistic = 139.722
3)* weights = 67
2) Max.L.Ra > 7
4)* weights = 163
1) Elong > 41
5) Max.L.Rect <= 148; criterion = 1, statistic = 67.057
6)* weights = 228
5) Max.L.Rect > 148
7)* weights = 42
# 予測作成
pred_prob <- predict(fit, newdata=test, type="prob")
pred <- predict(fit, newdata=test, type="response")
# モデル評価
caret::confusionMatrix(pred, test$Class)
Confusion Matrix and Statistics
Reference
Prediction bus opel saab van
bus 34 3 3 0
opel 0 57 55 0
saab 0 0 0 0
van 53 29 33 79
Overall Statistics
Accuracy : 0.4913
95% CI : (0.4375, 0.5453)
No Information Rate : 0.263
P-Value [Acc > NIR] : < 2.2e-16
Kappa : 0.3304
Mcnemar's Test P-Value : < 2.2e-16
Statistics by Class:
Class: bus Class: opel Class: saab Class: van
Sensitivity 0.39080 0.6404 0.000 1.0000
Specificity 0.97683 0.7860 1.000 0.5693
Pos Pred Value 0.85000 0.5089 NaN 0.4072
Neg Pred Value 0.82680 0.8632 0.737 1.0000
Prevalence 0.25145 0.2572 0.263 0.2283
Detection Rate 0.09827 0.1647 0.000 0.2283
Detection Prevalence 0.11561 0.3237 0.000 0.5607
Balanced Accuracy 0.68382 0.7132 0.500 0.7846
②モデルの可視化
plot(fit) だけで樹形図が出力できるのはいいですね
③改良/評価
階層を深くして改善
2層から3層へ深くして正解率が、0.4913から0.6069へ改善
saabの分類改善してますが、opelが改悪ですね、saabとopelはこの説明変数では難しそう
階層制限をなくしたモデルでは、正解率が0.6879まで向上
このモデルでも、saabとopelはうまく分類できていない
fit3 <- ctree(Class ~., data = train,
controls=ctree_control(maxdepth = 3))
fitu <- ctree(Class ~., data = train)
pred3 <- predict(fit3, newdata=test, type="response")
predu <- predict(fitu, newdata=test, type="response")
# 階層3で評価
caret::confusionMatrix(pred3, test$Class)
Confusion Matrix and Statistics
Reference
Prediction bus opel saab van
bus 83 14 18 12
opel 2 6 3 0
saab 0 52 54 0
van 2 17 16 67
Overall Statistics
Accuracy : 0.6069
95% CI : (0.5533, 0.6587)
No Information Rate : 0.263
P-Value [Acc > NIR] : < 2.2e-16
Kappa : 0.4771
Mcnemar's Test P-Value : < 2.2e-16
Statistics by Class:
Class: bus Class: opel Class: saab Class: van
Sensitivity 0.9540 0.06742 0.5934 0.8481
Specificity 0.8301 0.98054 0.7961 0.8689
Pos Pred Value 0.6535 0.54545 0.5094 0.6569
Neg Pred Value 0.9817 0.75224 0.8458 0.9508
Prevalence 0.2514 0.25723 0.2630 0.2283
Detection Rate 0.2399 0.01734 0.1561 0.1936
Detection Prevalence 0.3671 0.03179 0.3064 0.2948
Balanced Accuracy 0.8921 0.52398 0.6947 0.8585
# 制限なしで決定木モデルを作成
caret::confusionMatrix(predu, test$Class)
Confusion Matrix and Statistics
Reference
Prediction bus opel saab van
bus 80 4 6 6
opel 3 41 25 1
saab 2 29 45 0
van 2 15 15 72
Overall Statistics
Accuracy : 0.6879
95% CI : (0.6361, 0.7363)
No Information Rate : 0.263
P-Value [Acc > NIR] : < 2.2e-16
Kappa : 0.5848
Mcnemar's Test P-Value : 1.872e-05
Statistics by Class:
Class: bus Class: opel Class: saab Class: van
Sensitivity 0.9195 0.4607 0.4945 0.9114
Specificity 0.9382 0.8872 0.8784 0.8801
Pos Pred Value 0.8333 0.5857 0.5921 0.6923
Neg Pred Value 0.9720 0.8261 0.8296 0.9711
Prevalence 0.2514 0.2572 0.2630 0.2283
Detection Rate 0.2312 0.1185 0.1301 0.2081
Detection Prevalence 0.2775 0.2023 0.2197 0.3006
Balanced Accuracy 0.9289 0.6739 0.6865 0.8958
④可視化
3層モデルの樹形図
制限なしの樹形図
⑤ランダムフォレストで実行/評価
アンサンブル学習の一つである、ランダムフォレストを試してみる
モデルの説明が目的ではないのでざっくり説明ですが、ランダムフォレストは
決定木を何個も作り、結果の多数決で最終的な分類を行うようなモデル
試す決定木の数を num.tree で指定 今回は1000
正解率は、0.7312 で層を増やした決定木よりも良好
決定木の数とErrorの関係から、決定木を増やすとErrorが減る傾向にあることが確認できます
説明変数の重要度をvarImpPlotでグラフ化
まんべんなく使用されている
library(randomForest)
num.trees <- 1000
fit <- randomForest(Class ~ ., data = train, ntree = num.trees,
importance = TRUE, proximity = TRUE)
plot(fit)
varImpPlot(fit)
# 39.5_予測作成
pred <- predict(fit, test)
pred
caret::confusionMatrix(pred, test$Class)
Confusion Matrix and Statistics
Reference
Prediction bus opel saab van
bus 87 1 7 0
opel 0 39 26 0
saab 0 45 49 1
van 0 4 9 78
Overall Statistics
Accuracy : 0.7312
95% CI : (0.6812, 0.7772)
No Information Rate : 0.263
P-Value [Acc > NIR] : < 2.2e-16
Kappa : 0.6418
Mcnemar's Test P-Value : NA
Statistics by Class:
Class: bus Class: opel Class: saab Class: van
Sensitivity 1.0000 0.4382 0.5385 0.9873
Specificity 0.9691 0.8988 0.8196 0.9513
Pos Pred Value 0.9158 0.6000 0.5158 0.8571
Neg Pred Value 1.0000 0.8221 0.8327 0.9961
Prevalence 0.2514 0.2572 0.2630 0.2283
Detection Rate 0.2514 0.1127 0.1416 0.2254
Detection Prevalence 0.2746 0.1879 0.2746 0.2630
Balanced Accuracy 0.9846 0.6685 0.6790 0.9693
pythonコード
pythonでデータフレームに読み込んで、ざっとデータを確認
カラムは19種類
Classのみ、object形式でその他は、数値データ
目的変数がclassなので説明変数はすべて数値データですね
データ数は、846個で欠損なし
データフレームのデータの確認には「pandas_profiling」が非常に優秀
情報量が多いので省きますが
総数、欠損値、ヒストグラム、相関係数等々 個別に実施しそうな項目を一気に表示してくれます
# RでVehicleをcsv出力
write.table(Vehicle, "Vehicle.csv", sep=",", row.names=T)
# いつものライブラリーでデータ入力
# ライブラリーは 標準＞サードパーティ＞ローカル で アルファベット順が基本とのことです
# 詳しくはPEP8などを参考に（今までめちゃくちゃでした、、）
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import seaborn as sns
vehicle = pd.read_csv('Vehicle.csv')
vehicle.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 846 entries, 0 to 845
Data columns (total 19 columns):
Comp 846 non-null int64
Circ 846 non-null int64
D.Circ 846 non-null int64
Rad.Ra 846 non-null int64
Pr.Axis.Ra 846 non-null int64
Max.L.Ra 846 non-null int64
Scat.Ra 846 non-null int64
Elong 846 non-null int64
Pr.Axis.Rect 846 non-null int64
Max.L.Rect 846 non-null int64
Sc.Var.Maxis 846 non-null int64
Sc.Var.maxis 846 non-null int64
Ra.Gyr 846 non-null int64
Skew.Maxis 846 non-null int64
Skew.maxis 846 non-null int64
Kurt.maxis 846 non-null int64
Kurt.Maxis 846 non-null int64
Holl.Ra 846 non-null int64
Class 846 non-null object
dtypes: int64(18), object(1)
memory usage: 125.7+ KB
データフレームから目的変数と説明変数に分割
Rは別途作成しなくても目的変数が指定できるので便利
（scikit-learnもできるのでしょうか？）
データをトレーニングデータとテストデータに分割
train_test_splitはtestデータの割合、数の指定なので、846-500=346 指定
from sklearn.model_selection import train_test_split
train_y = vehicle['Class']
train_X = vehicle.drop('Class',axis = 1)
(train_X, test_X ,train_y, test_y) = train_test_split(train_X, train_y,
test_size = 346,
random_state = 666)
①決定木でモデルを作成/評価
2階層の決定木モデルを作成
トレーニングデータscore: 0.544
テストデータscore: 0.5202312138728323
4分類で52%はあまりよくないですね
混同行列の列と行の表記がRと逆（というか自分的にはRが逆、、）
indexも出ないので見ずらいですね、、（だせるのかな？）
bus,opel,saab,van の順番
Rでは、saabの予測ができてませんでしたが、pythonではopelは予測できていないですね、、
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score
# 決定木のインスタンス作成
clf = DecisionTreeClassifier(max_depth=2, random_state=0)
# トレーニングデータで学習
clf = clf.fit(train_X, train_y)
# トレーニングデータのスコア
print('トレーニングデータscore:',clf.score(train_X, train_y))
# 学習モデルでテストデータ予測
pred = clf.predict(test_X)
# テストデータスコア
print('テストデータscore:',accuracy_score(pred, test_y))
トレーニングデータscore: 0.544
テストデータscore: 0.5202312138728323
# 混同行列
from sklearn.metrics import confusion_matrix
confusion_matrix(test_y, pred)
array([[95, 0, 0, 1],
[25, 0, 64, 2],
[31, 0, 56, 0],
[40, 0, 3, 29]])
②モデルの可視化
dotデータを作成して、graphvizで樹形図が作成できます
import pydotplus
from IPython.display import Image
from graphviz import Digraph
dot_data = tree.export_graphviz(clf , feature_names = train_X.columns)
graph = pydotplus.graph_from_dot_data(dot_data)
Image(graph.create_png())
目的変数の重要度は、feature_importances_で出力
樹形図でもわかりますが、グラフの方が見やすい
print(clf.feature_importances_)
[0. 0. 0. 0. 0. 0.64321384
0. 0.35678616 0. 0. 0. 0.
0. 0. 0. 0. 0. 0. ]
# グラフ作成
plt.barh(train_X.columns,clf.feature_importances_)
③改良/評価
1階層増やすだけなので結果のみにします
4分類で65%まで改善
トレーニングデータscore: 0.7
テストデータscore: 0.653179190751445
opelも分類できるようになりましたが、いまいちですね
混合行列
array([[88, 0, 6, 2],
[13, 17, 48, 13],
[11, 5, 54, 17],
[ 2, 0, 3, 67]])
④可視化
説明変数もまんべんなく使うようになってます
⑤ランダムフォレストで実行/評価
scikit-learnは使い方が共通なのでimportした後は、ほぼ同じ使い方で便利です
テストデータスコアが0.72で伸びていますが、かなり過学習ですね
opelとsaabはランダムフォレストでも分類が難しい
説明変数そのままでは難しそうですね
次数ふやすか、SVMかはたまたDeeplearningか？？等々と
すべての説明変数を使っています
# ランダムフォレスト
from sklearn.ensemble import RandomForestClassifier
clf_rf = RandomForestClassifier(random_state=0)
clf_rf = clf_rf.fit(train_X, train_y)
pred_rf = clf_rf.predict(test_X)
print('トレーニングデータscore:',clf_rf.score(train_X, train_y))
print('テストデータscore:',accuracy_score(pred_rf, test_y))
トレーニングデータscore: 0.99
テストデータscore: 0.7167630057803468
confusion_matrix(test_y, pred_rf)
array([[95, 0, 0, 1],
[ 2, 49, 36, 4],
[ 4, 35, 40, 8],
[ 2, 1, 5, 64]])