このページについて
今回はPyCaret(パイキャレット)というライブラリを使って，ワインの品質分類をしてみます．
Pycaretとは
PyCaretは，超簡単に機械学習ができてしまう便利ツールです．
数行のコードで，複数のAIモデルを構築して評価して比較することができます．
コードと解説
プログラムを以下に記載したので，さっそく見ていきましょう．
前回と同じく，ワインの特徴量データからワインの品質を予測するようなプログラムになってます．
# ライブラリのインポート
import pandas as pd
from pycaret.classification import *
# データセットの読み込み
df = pd.read_csv('http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv', sep=';')
使用するライブラリと，ワインの品質データセットを読み込みます．
# 特徴名の空白をアンダースコアに置き換える
df.columns = df.columns.str.replace(' ', '_')
特徴名（カラム名）の空白をアンダースコアに置き換え，後の処理でエラーが発生しないようにします．
# PyCaretのセットアップ
clf = setup(df, target='quality', session_id=123)
PyCaretを使ってデータセットをセットアップします．
targetパラメータで予測対象のカラム（品質）を指定し，session_idでランダムシードを設定します．
このPyCaretのsetup関数はなかなかすごい関数でして，データの前処理・特徴量エンジニアリング・データの分割・スケーリングなど，モデル構築のための初期設定を一括で行ってくれます．
この行のコードを実行することで，PyCaretがデータセットを解析し，機械学習モデルの構築に必要な準備を自動的に行います（後続のモデル比較や作成，評価が簡単に行えるようになる．）
# モデルの比較
best_model = compare_models()
PyCaretのcompare_models関数を使って，複数の分類モデルを比較し，最も性能の良いモデルを選択します．
ロジスティック回帰とか決定木とかサポートベクターマシンとか，いろんなアルゴリズムを比較して，一番いいやつをピックアップしてくれるらしいです．
# モデルの作成
model = create_model(best_model)
選択した最適なモデルを作成する．
※ best_model = compare_models()の時点では，まだモデルが完全に構築されていないらしい．なので，この行で完全に構築したかんじですね．
# モデルの評価
evaluate_model(model)
モデルの性能を評価します．PyCaretは様々な評価指標を提供します．
# 訓練データとテストデータに分割
train_data = get_config('X_train')
test_data = get_config('X_test')
train_labels = get_config('y_train')
test_labels = get_config('y_test')
ここは訓練データとテストデータに分割してるだけ．
# モデルの予測
train_predictions = predict_model(model, data=train_data)['prediction_label']
test_predictions = predict_model(model, data=test_data)['prediction_label']
訓練データとテストデータに対して予測を行います．
（predict_model関数を使って予測ラベルを取得．）
# 正解率の計算
from sklearn.metrics import accuracy_score
train_accuracy = accuracy_score(train_labels, train_predictions)
test_accuracy = accuracy_score(test_labels, test_predictions)
訓練データとテストデータの正解率を計算します．
（accuracy_score関数を使って，予測ラベルと実際のラベルを比較）
# 結果の表示
print(f'正解率(train): {train_accuracy:.3f}')
print(f'正解率(test): {test_accuracy:.3f}')
訓練データとテストデータの正解率を表示します．
実行結果
実行結果はこんな感じすね．
C:\Python\Python実践AIモデル構築\pycaret>python wine_pycaret.py
Description Value
0 Session id 123
1 Target quality
2 Target type Multiclass
3 Target mapping 3: 0, 4: 1, 5: 2, 6: 3, 7: 4, 8: 5
4 Original data shape (1599, 12)
5 Transformed data shape (1599, 12)
6 Transformed train set shape (1119, 12)
7 Transformed test set shape (480, 12)
8 Numeric features 11
9 Preprocess True
10 Imputation type simple
11 Numeric imputation mean
12 Categorical imputation mode
13 Fold Generator StratifiedKFold
14 Fold Number 10
15 CPU Jobs -1
16 Use GPU False
17 Log Experiment False
18 Experiment Name clf-default-name
19 USI 4903
Processing: 82%|█████████████████████████████████████████████████████████ | 53/65 [00:12<00:04, 2.48it/s][LightGBM] [Info] Auto-choosing row-wise multi-threading, the overhead of testing was 0.004022 seconds.
（略）
Model Accuracy AUC Recall Prec. \
et Extra Trees Classifier 0.6702 0.5871 0.6702 0.6485
xgboost Extreme Gradient Boosting 0.6622 0.5663 0.6622 0.6420
rf Random Forest Classifier 0.6595 0.5761 0.6595 0.6323
lightgbm Light Gradient Boosting Machine 0.6497 0.5725 0.6497 0.6277
gbc Gradient Boosting Classifier 0.6336 0.5461 0.6336 0.6183
lr Logistic Regression 0.6032 0.5288 0.6032 0.5726
lda Linear Discriminant Analysis 0.5987 0.5329 0.5987 0.5806
ridge Ridge Classifier 0.5880 0.0000 0.5880 0.4973
dt Decision Tree Classifier 0.5872 0.4659 0.5872 0.5837
nb Naive Bayes 0.5558 0.5033 0.5558 0.5628
qda Quadratic Discriminant Analysis 0.5478 0.4938 0.5478 0.5467
ada Ada Boost Classifier 0.5478 0.4347 0.5478 0.4596
knn K Neighbors Classifier 0.4808 0.4497 0.4808 0.4551
dummy Dummy Classifier 0.4263 0.3500 0.4263 0.1817
svm SVM - Linear Kernel 0.4111 0.0000 0.4111 0.3872
F1 Kappa MCC TT (Sec)
et 0.6494 0.4612 0.4667 0.039
xgboost 0.6479 0.4581 0.4607 0.373
rf 0.6388 0.4444 0.4500 0.044
lightgbm 0.6342 0.4365 0.4403 0.549
gbc 0.6223 0.4153 0.4174 0.162
lr 0.5733 0.3410 0.3475 0.300
lda 0.5845 0.3558 0.3586 0.005
ridge 0.5318 0.2989 0.3103 0.005
dt 0.5821 0.3556 0.3572 0.006
nb 0.5551 0.3141 0.3162 0.005
qda 0.5409 0.2872 0.2912 0.005
ada 0.4938 0.2362 0.2499 0.017
knn 0.4604 0.1502 0.1529 0.226
dummy 0.2548 0.0000 0.0000 0.127
svm 0.3232 0.1108 0.1618 0.008
Accuracy AUC Recall Prec. F1 Kappa MCC
Fold
0 0.7232 0.0000 0.7232 0.7028 0.7091 0.5497 0.5529
1 0.6786 0.0000 0.6786 0.6668 0.6586 0.4677 0.4733
2 0.6518 0.8484 0.6518 0.6312 0.6374 0.4377 0.4426
3 0.7054 0.8492 0.7054 0.6723 0.6765 0.5156 0.5228
4 0.7054 0.8360 0.7054 0.6798 0.6838 0.5169 0.5226
5 0.6786 0.8127 0.6786 0.6464 0.6619 0.4881 0.4892
6 0.6339 0.8441 0.6339 0.6026 0.6063 0.4046 0.4180
7 0.6964 0.8616 0.6964 0.6600 0.6717 0.5042 0.5087
8 0.5536 0.8191 0.5536 0.5746 0.5292 0.2554 0.2612
9 0.6757 0.0000 0.6757 0.6485 0.6592 0.4725 0.4757
Mean 0.6702 0.5871 0.6702 0.6485 0.6494 0.4612 0.4667
Std 0.0463 0.3846 0.0463 0.0358 0.0477 0.0792 0.0783
interactive(children=(ToggleButtons(description='Plot Type:', icons=('',), options=(('Pipeline Plot', 'pipeline'), ('Hyperparameters', 'parameter'), ('AUC', 'auc'), ('Confusion Matrix', 'confusion_matrix'), ('Threshold', 'threshold'), ('Precision Recall', 'pr'), ('Prediction Error', 'error'), ('Class Report', 'class_report'), ('Feature Selection', 'rfe'), ('Learning Curve', 'learning'), ('Manifold Learning', 'manifold'), ('Calibration Curve', 'calibration'), ('Validation Curve', 'vc'), ('Dimensions', 'dimension'), ('Feature Importance', 'feature'), ('Feature Importance (All)', 'feature_all'), ('Decision Boundary', 'boundary'), ('Lift Chart', 'lift'), ('Gain Chart', 'gain'), ('Decision Tree', 'tree'), ('KS Statistic Plot', 'ks')), value='pipeline'), Output()), _dom_classes=('widget-interact',))
正解率(train): 1.000
正解率(test): 0.692
上記の実行結果から，以下のようなことが分かると思われる．
・Extra Trees Classifierが最も高い正解率を示していますが、他のモデル（XGBoostやRandom Forest）も近い性能を示している．
・訓練データの正解率が1.000である一方、テストデータの正解率は0.692であるため、モデルが過学習している可能性がある😿クロスバリデーションとかハイパーパラメータの調整とか正則化の導入が必要かも．
・まあとにかく，Extra Trees Classifierが最も高い性能を示しているため、このモデルをベースにさらなるチューニングを行うと良いっぽい．
まとめ
これは便利だわ．
知らないと損な気がします．