分類と回帰、両方に使える評価手法
-
ホールドアウト検証
モデルの汎化性能を評価する方法 -
交差検証（Cross-validation）
モデルの汎化性能を評価する手法
分類に使える評価手法
ホールドアウト検証
全てのデータセットを任意の割合で学習データ、検証データ、テストデータに分割して検証する方法。機械学習モデルの汎化性能評価に際して従来より使用されている一般的な検証方法です。
交差検証(クロスバリデーション)
交差検証（cross-validation）は、汎化性能を評価する統計的な手法で、分類でも回帰でも用いることができます。機械学習を行うとき、学習を行うための学習データと未知のデータに適用したときのモデルを評価するためのテストデータがあります。
交差検証の中でも、よく利用されるK-分割交差検証について説明します。K-分割交差検証は、データをK個に分割してそのうち1つをテストデータに残りのK-1個を学習データとして正解率の評価を行います。これをK個のデータすべてが1回ずつテストデータになるようにK回学習を行なってそれぞれでホールドアウト検証を行い精度の平均をとる手法です。
混同行列
正解率(Accuracy)
予測値が実際にそうである割合
$$
Accuracy=\frac{TP+TN}{TP+FP+TN+FN}
$$
適合率(Precision)
陽と予測したもののうち、実際に陽である割合
$$
Precision=\frac{TP}{TP+FP}
$$
再現率・感度(Recall)
実際に陽であるもののうち、陽と予測できた割合
$$
Recall=\frac{TP}{TP+FN}
$$
特異度(Specificity)
実際に陰であるもののうち, 陰と予測できた割合
$$
Specificity=\frac{TP}{FP+TN}
$$
F値(F-measure)
再現率と適合率の調和平均
$$
\frac{2Recall⋅Precision}{Recall+Precision}
$$