訳注
http://topepo.github.io/caret/other.html の和訳です

テストセットの評価

postResample 関数は、回帰あるいは分類の train によるパフォーマンスを計測するために用います。

caret には分類モデルのパフォーマンスを計測するための関数がいくつかあります。感度、特異度を見る関数として、poPredValue と negPredValue があり、2分類のパフォーマンスを計測します。デフォルトでは、アウトカム要素の1番目は"positive" 結果（すなわち、興味のある事象）と定義されますが、変えることも出来ます。

confusionMatrix 関数は分類モデルの結果の要約をします。モデルのトレーニングとチューニングの例を示します：

testPred <- predict(gbmFit3, testing)
postResample(testPred, testing$Class)

 Accuracy     Kappa 
0.8627451 0.7226107 
sensitivity(testPred, testing$Class)

[1] 0.9259259

confusionMatrix(testPred, testing$Class)

Confusion Matrix and Statistics

          Reference
Prediction  M  R
         M 25  5
         R  2 19
                                         
               Accuracy : 0.8627         
                 95% CI : (0.7374, 0.943)
    No Information Rate : 0.5294         
    P-Value [Acc > NIR] : 5.008e-07      
                                         
                  Kappa : 0.7226         
 Mcnemar's Test P-Value : 0.4497         
                                         
            Sensitivity : 0.9259         
            Specificity : 0.7917         
         Pos Pred Value : 0.8333         
         Neg Pred Value : 0.9048         
             Prevalence : 0.5294         
         Detection Rate : 0.4902         
   Detection Prevalence : 0.5882         
      Balanced Accuracy : 0.8588         
                                         
       'Positive' Class : M

"no--information rate" は、観測されたクラス（このテストセットでよりアクティブなもの）の最大の比率となります。最大のクラスの確率よりも大きいかどうか仮説検定を行います。"positie event" の prevalence がデータ（属性によらず）から計算されます。検出率（全事象に対する真陽性の率）と detection prevalence （予測された事象の prevalence）です。

2x2 表で考えると

	Reference
Predicted	Event	No Event
Event	A	B
No Event	C	D

式で考えると：

\begin{align}
感度 Sensitivity &= \frac{A}{A+C} \\
特異度 Specificity &= \frac{D}{B+D} \\
Prevalence &= \frac{A+C}{A+B+C+D} \\
PPV &= \frac{sensitivity \times prevalence}{(sensitivity \times prevalence)+(1 - sensitivity)\times(1 - prevalence)} \\
NPV &= \frac{sensitivity \times (1 - prevalence)}{((1 - sensitivity) \times prevalence) + sensitivity \times (1 - prevalence)} \\
検出率 Detection Rate &= \frac{A}{A+B+C+D} \\
Detection Prevalence &= \frac{A+B}{A+B+C+D}
\end{align}

3つ以上のクラスがあるとき、confusionMatrix で混同行列を示し、「1対多」の結果の集合を示します。例えば、3クラス分類問題で、最初のクラスの感度は2番目と3番めのクラスに入るすべてのサンプルに対するものとして計算されます。

トレーニングセットのリサンプルの評価では confusionMatrix.train が使われます。各リサンプルの段階について、hold-out サンプルとそれらの値から混同行列が作成され、モデルのフィッティングに関しての診断材料として用いられます。

例えば：

confusionMatrix(gbmFit3)

Cross-Validated (10 fold, repeated 10 times) Confusion Matrix 

(entries are percentages of table totals)
 
          Reference
Prediction    M    R
         M 47.2 10.8
         R  6.3 35.7

リサンプルの間に混同行列に hold-out サンプルがあるパーセントをこれらの値は示しています。これらの値を正規化する方法はいくつかあります。詳細は ?confusionMatrix.train を参照のこと。

他クラス問題については、パフォーマンス計測のための追加の関数があります。クラス確率に基づく多項式対数尤度（小さいほうがよい）の負値を mnLogLoss は計算します。パラメータチューニングの最適化に用いられますが、他の計測（例、正確度あるいはROC曲線の下部面積）と矛盾する場合があり、特に他の計測が最も可能性のある値に近い場合に起こります。この関数は上述の他の関数の属性と似ています：

test_results <- predict(gbmFit3, testing, type = "prob")
test_results$obs <- testing$Class
head(test_results)

             M            R obs
1 1.982479e-05 9.999802e-01   R
2 8.774626e-07 9.999991e-01   R
3 1.789676e-11 1.000000e+00   R
4 6.024225e-04 9.993976e-01   R
5 9.999999e-01 1.179912e-07   R
6 9.995127e-01 4.872602e-04   R

mnLogLoss(test_results, lev = levels(test_results$obs))

  logLoss 
0.6746702

加えて、multiClassSummary 関数は関連する計測値を計算します：

クラスの予測には全体の正確度とΚ統計値を用います
多項式対数損失の負値（クラス確率が使用可ならば）
感度、特異度、ROC曲線の下部面積等のような「一対他」統計量の平均値

例えば：

test_results$pred <- predict(gbmFit3, testing)
multiClassSummary(test_results, lev = levels(test_results$obs))

          logLoss               ROC          Accuracy             Kappa 
        0.6746702         0.9413580         0.8627451         0.7226107 
      Sensitivity       Specificity    Pos_Pred_Value    Neg_Pred_Value 
        0.9259259         0.7916667         0.8333333         0.9047619 
   Detection_Rate Balanced_Accuracy 
        0.4901961         0.8587963

クラス確率の評価

2つのクラスを持つデータセットについてクラス確率予測の2つの関数が caret にはあります。

lift 関数は、ヒットのパーセントについての確率の閾値を評価するための関数です。（トレーニングセットではなく）予測の確率のセットと真のクラスのラベルをこの関数は要求します。例えば、twoClassSim 関数を用いて2クラスのサンプルをシミュレーション出来、トレーニングセットにモデルセットをフィット出来ます：

set.seed(2)
trainingSim <- twoClassSim(1000)
evalSim     <- twoClassSim(1000)
testingSim  <- twoClassSim(1000)

ctrl <- trainControl(method = "cv",
                     classProbs = TRUE,
                     summaryFunction = twoClassSummary)

set.seed(1045)
fdaModel <- train(Class ~ ., data = trainingSim,
                  method = "fda",
                  metric = "ROC",
                  tuneLength = 20,
                  trControl = ctrl)

set.seed(1045)
ldaModel <- train(Class ~ ., data = trainingSim,
                  method = "lda",
                  metric = "ROC",
                  trControl = ctrl)

set.seed(1045)
c5Model <- train(Class ~ ., data = trainingSim,
                 method = "C5.0",
                 metric = "ROC",
                 tuneLength = 10,
                 trControl = ctrl)

## A summary of the resampling results:
getTrainPerf(fdaModel)

  TrainROC TrainSens TrainSpec method
1 0.956762 0.9041751  0.848599    fda

getTrainPerf(ldaModel)

   TrainROC TrainSens TrainSpec method
1 0.9044245 0.8342761  0.791256    lda

getTrainPerf(c5Model)

   TrainROC TrainSens TrainSpec method
1 0.9495571 0.8676094 0.8531401   C5.0

これらのモデルから、評価セットの予測を得て、最初のクラスの確率を保存します：

evalResults <- data.frame(Class = evalSim$Class)
evalResults$FDA <- predict(fdaModel, evalSim, type = "prob")[,"Class1"]
evalResults$LDA <- predict(ldaModel, evalSim, type = "prob")[,"Class1"]
evalResults$C5.0 <- predict(c5Model, evalSim, type = "prob")[,"Class1"]
head(evalResults)

   Class        FDA       LDA      C5.0
1 Class1 0.99244077 0.8838205 0.8445830
2 Class1 0.99128497 0.7572450 0.8882418
3 Class1 0.82142101 0.8883830 0.5732098
4 Class2 0.04336463 0.0140480 0.1690251
5 Class1 0.77494981 0.9320695 0.4824400
6 Class2 0.11532541 0.0524154 0.3310495

lift 関数は、計算と関連するプロットの機能があり、lift 曲線（gain 曲線と呼ばれる）をプロットします。属性値は参照線を示します。(The value argument creates reference lines.)

trellis.par.set(caretTheme())
liftData <- lift(Class ~ FDA + LDA + C5.0, data = evalResults)
plot(liftData, values = 60, auto.key = list(columns = 3,
                                            lines = TRUE,
                                            points = FALSE))

（図略）

このヒットの60%を見ると、データの30%以上がサンプル（予測確率を並べた場合）となっていることがわかります。LDA モデルが他の2つのモデルよりも悪いこともわかります。

確率測定の別の関数もあります。 gbm パッケージ、rms パッケージなどです。これらのプロットが、予測確率の値の見積もりに使え、データの事象確率からなっています。(These plots can be used to assess whether the value of the probability prediction is consistent with the event rate in the data.) この関数についての書式は lift 関数ととても似ています：

trellis.par.set(caretTheme())
calData <- calibration(Class ~ FDA + LDA + C5.0,
                       data = evalResults,
                       cuts = 13)
plot(calData, type = "l", auto.key = list(columns = 3,
                                          lines = TRUE,
                                          points = FALSE))

図略