Receiver Operating Characteristic (ROC) カーブは、識別器(判別器)の性能評価に使われる。
横軸 Specificity = True Negative Rate = True Negative / Called Negative
縦軸 Sensitivity = True Positive Rate = True Positive / Called Positive
識別器の値に対する、閾値を動かしていくと、図のような曲線が描かれる。図では3つの識別器を比較している。左上に曲線が行くほど、性能が良い。
少しややこしい。
Specificity とは日本語で特異度。ネガティブと判断された中で、真にネガティブなものの割合。
Sensitivity とは日本語で感受性。ポジティブと判断された中で、真にポジティブなものの割合。
ある病気を判断するバイオマーカーを例にとると、Specificity は、病気でないと判断したうち、本当に病気でない割合、Sensitivity は病気と判断したうち、本当に病気な割合。なので、重要な病気のバイオマーカーの場合は、Sensitivity は多少犠牲にしても、Specificity は高い方がいい。多少間違って病気と判断してしまっても、病気を見逃すよりは良い。
pROC というパッケージがある。