製造業出身のデータサイエンティストがお送りする記事
今回は普段使っているscikit-learn の機能（モデル評価）について整理してみました。

はじめに

普段からscikit-learn を使用しているのですが、規模が大き過ぎて必要な部分は毎回ググリなら実装しておりますので、勉強も兼ねて整理してみました。
前回、scikit-learnの機能（モデル構築）を整理しておりますので、ご参考にして頂けますと幸いです。

モデル評価

モデル評価において下記3点について調査しました。

評価関数
交差検証
パラメータチューニング

評価関数

評価関数は、モデルを評価するための指標を計算してくれる関数です。
後半でご説明します、交差検証やパラメータチューンニングにおいても評価関数は使用します。

Classifier（分類器）の代表的な評価関数（混同行列）

Classifier で使用する代表的な評価関数を整理します。その際、下記の予測値と実測値の評価マトリックスを使用して評価することが多いので最初に整理します。

		予測値
		Positive	Negative
実測値	Positive	True Positive (TP)	False Negative (FN)
	Negative	False Positive (FP)	True Negative (TN)

代表的な混同行列系の評価関数を下記に整理します。

モジュール	概要
accuracy	正解率（全サンプルのうち、予測値と実測値が等しいものの割合） (TP+TN)/(TP+FP+FP+TN)
precision	適合率（Positiveと予測したもののうち、実測値がPositiveであったものの割合） TP/(TP+FP)
recall	再現率（実測値がPositiveであったもののうち、Positiveと予測したものの割合） TP/(TP+FN)
f1_score	F1スコア（適合率と再現率の調和平均 (2∗precision∗recall)/(precision+recall)
fbeta_score	F1スコアにおいて、再現率にβ倍の重みを付与したもの
classification_report	正解率（accuracy）、適合率（precision）、再現率（recall）、F1スコア（f1_score）を同時に表示

Classifier（分類器）の代表的な評価関数（混同行列以外）

混同行列以外の評価関数を下記に整理します。

モジュール	概要
auc	Area under the curveの略。ROC曲線の下側の面積を意味する
hinge_loss	ヒンジ損失。正解であっても、境界面付近の場合は損失を与える
log_loss	交差エントロピー誤差

Classifier（分類器）の代表的な評価プロット

代表的な評価プロットを下記に整理します。

モジュール	概要
plot_confision_matrix	混合行列を表示
plot_roc	ROC曲線をプロット
plot_precision_recall	適合率と再現率をプロット
plot_learning_curve	サンプル数の増加に対して精度がどのように変化するのかをプロット

Regressor（回帰器）の代表的な評価関数

Regressor（回帰器）で使用する評価関数を下記に整理します。

モジュール	概要
r2_score	決定係数
mean_squared_error	平均二乗誤差（MSE）
mean_squared_log_error	平均二乗対数誤差（MSLE）
mean_absolute_error	平均絶対誤差（MAE）
explainede_variance_score	モデルで説明可能な分散

Regressor（回帰器）の代表的な評価プロット

代表的な評価プロットを下記に整理します。

モジュール	概要
ErrorPlot	実測値と回帰直線との乖離をプロット
ResidualsPlot	予測値に対する残差をプロット
AlphaPlot	L1, L2正則化の重みαを変えた際の誤差をプロット

Culster（クラスタリング器）の代表的な評価関数

Culster（クラスタリング器）で使用する評価関数を下記に整理します。

モジュール	概要
silhouette	シルエット係数正解ラベル不要クラスタのコンパクトさを計算し，完全な場合で1となる
calinski_harabasz_score	クラスタ内の分散がクラスタ間の分散よりも大きいほど高い評価正解ラベル不要
adjuested_mutual_info_score	調整済み相互情報量正解ラベルが必要
homogeneity	ひとつのクラスタが含むラベルが同じほど高い評価正解ラベルが必要
completeness	ひとつのラベルが含むクラスタが同じほど高い評価正解ラベルが必要
v-measure	homogeneity とcompleteness との調和平均正解ラベルが必要

Culster（クラスタリング器）の代表的な評価プロット

代表的な評価プロットを下記に整理します。

モジュール	概要
plot_silhouette	シルエット係数をプロット
plot_elbow_curve	クラスタ数とクラスタ内誤差平方和の関係をプロットクラスタ数を決める際に使用

交差検証

交差検証とは、一つの学習データ（train）と検証データ（valid）の組合せだけでモデルを評価すると過学習している可能性もあるため、複数回の組合せパターンで検証を行い、モデルの汎化性能を高める事を交差検証と呼びます。

交差検証を進めていく上で必要な要素は下記3点です。

評価指標
交差検証イテレータ
交差検証関数

上記については、各々説明していきます。

交差検証イテレータ

複数回の検証をするためのイテレータです。学習データ（train）と検証データ（valid）の分割方法が異なるイテレータが用意されております。

K Fold

最もメジャーな交差検証イテレータです。手順は下記です。

データセットをランダムにK個に分割します。
K-1個を学習データ、1個を検証データとして検証をK回繰り返します。

Stratified K Fold

K Foldにおいて、データ分割時に層化を行います。層化を行うことで、全Foldでラベルの割合が同じになるようにすることができます。

Group K Fold

一つのグループが複数のFoldに跨がらないようにします。例えば、購買データとかで一人あたり複数のレコードがある場合、一人の購買データのログを一つのFoldだけに割り当てるようにして検証時にデータリークが発生しないようにします。

Leave One Out/ Leave P Out

Leave One Outは、1サンプルだけを検証データとする評価をサンプル数nだけ繰り返します。
Leave P Outは、P個のサンプルを検証データとする評価をn/p回繰り返します。
ただし、Leave One OutはFold数nのKFoldと同等、Leave P OutはFold数n/pのKFoldと同等なため、KFoldで代用可能らしいです。

Shuffle Split

イテレーションのたびに学習データと検証データをシャッフルします。KFoldと異なり、一つのサンプルが複数回検証に使用される可能性があります。

Stratified Shuffle Split

Shuffle Splitの各イテレーションで学習データと検証データの層化を行います。

Group Shuffle Split

Shuffle Splitの各イテレーションで、学習データと検証データに同じグループが登場しないようにします。

Time Series Split

時系列データ用の交差検証イテレータです。学習期間終了日の翌データを検証データとし、イテレーション毎に学習期間を増やしていきます。

交差検証関数

交差検証を行う関数は下記3つに分類されます。

		評価数
		単一指標	複数指標
返り値	指標	cross_val_score	cross_validate
	指標＋予測値	cross_val_predict

パラメータチューニング

ハイパーパラメータを探索する方法は下記3方法があります。

モジュール	方法	概要
GridSearchCV	グリッドサーチ	パラメータ候補を網羅的に探索
RandomizedSearchCV	ランダムサーチ	パラメータをランダムに探索
LogisticRegressionCV	Estimator固有のサーチ	ロジスティック回帰に特化した探索
LassoCV	Estimator固有のサーチ	Lasso回帰に特化した探索
RidgeCV	Estimator固有のサーチ	Ridge回帰に特化した探索

##さいごに
最後まで読んで頂き、ありがとうございました。
今回はモデル評価に焦点を当てて整理しました。

訂正要望がありましたら、ご連絡頂けますと幸いです。