混同行列(Confusion Matrix)の表中にPrecision, Recallを書いた具体例(分類クラスが3種類以上ある場合にも拡張)

(※もし間違った認識をしている点がありましたら、編集リクエスト・コメントなどご指摘お願い致します。)

その他のPrecision, Recall系の記事のまとめページ一覧はこちら。

混同行列 (Confusion Matrix)　定義

引用: http://popo.ara.black/etc/confusionmatrix.htm

混同行列（Confusion Matrix）とは、クラス分類の結果をまとめた表のことです。陽性のサンプルのうち、何個が正しく陽性と判定され、何個が誤って陰性と判定されたか、といったことを分かりやすくまとめるために用います。

２クラスの場合、混同行列はこのような２×２の行列になります。

	予測されたクラス ＝Positive	予測されたクラス ＝Negative
実際のクラス＝Positive	True Positive	False Negative
実際のクラス＝Negative	False Positive	True Negative

りんごの例で言えば

例えば、機械学習くんがりんごかどうかを識別する例で言えば、表の上に機械学習くんが予測して、りんごと答えた時と、りんごでないと答えた時の項目を配置して、表の左横には機械学習くんに見せる絵が、りんごの絵の時と、他の物の時の項目を配置、表内の空いている4マスにそれぞれの発生回数を入れていく。りんごの絵を見せてりんごと答えたらTPのマスに+1、りんごの絵を見せてりんごでないと答えたらFNのマスに+1、他の物を見せてりんごと答えたらFPのマスに+1、他の物を見せてりんごでないと答えたらTNのマスに+1。

	予測=りんご	予測=りんごでない
真値=りんご	TP=90回	FN=15回
真値=他の物	FP=10回	TN=85回

対応する位置にPrecisionとRecallを書き加える

表の対応する位置にPrecision(＝機械学習くんがりんごかどうか予想して答える発言の正しさ＝$\frac{TP}{TP+FP}$)とRecall(＝機械学習くんがりんごを思い出す記憶力の良さ＝$\frac{TP}{TP+FN}$)を合わせて書き加えれば、

	予測=りんご	予測=りんごでない	(Recall)
真値=りんご	TP=90回	FN=15回	0.857..
真値=他の物	FP=10回	TN=85回
(Precision)	0.9		りんごのF値=0.878..

クラスが3種類以上ある場合

例えば、りんご・レモン・ぶどう・メロン・みかんの5種類のクラスを識別する場合は、

	予測=りんご	予測=レモン	予測=ぶどう	予測=メロン	予測=みかん
真値=りんご	90回	4回	3回	3回	5回
真値=レモン	2回	85回	1回	4回	3回
真値=ぶどう	1回	3回	95回	2回	1回
真値=メロン	4回	2回	4回	87回	3回
真値=みかん	3回	1回	3回	2回	92回

PrecisionとRecallは、それぞれのクラスに1つずつ用意できて、りんごのPrecision・レモンのPrecision・ぶどうのPrecision・メロンのPrecision・みかんのPrecision、りんごのRecall・レモンのRecall・ぶどうのRecall・メロンのRecall・みかんのRecallが出てくる。りんごのPrecisionは90/(90+2+1+4+3)=0.9など。表の対応する位置に合わせて書き加えれば、

	予測=りんご	予測=レモン	予測=ぶどう	予測=メロン	予測=みかん	(Recall)
真値=りんご	90回	4回	3回	3回	5回	0.857..
真値=レモン	2回	85回	1回	4回	3回	0.895..
真値=ぶどう	1回	3回	95回	2回	1回	0.931..
真値=メロン	4回	2回	4回	87回	3回	0.87
真値=みかん	3回	1回	3回	2回	92回	0.911..
(Precision)	0.9	0.895..	0.896..	0.888..	0.885..

この表を、りんごとりんごでないの2種類の表に書き換えてみると、

	予測=りんご	予測=りんごでない	(Recall)
真値=りんご	TP=90回	FN=15回	0.857..
真値=他の物	FP=10回	TN=388回	0.975..
(Precision)	0.9	0.963..	りんごのF値=0.878..

りんごのPrecision・りんごのRecall・りんごのF値は、他のクラスの正解・不正解の回数(表中のTNの数)にかかわらず、同じ値のまま。りんごについて評価しているので、りんごのPrecision・りんごのRecall・りんごのF値は、他のクラスの正解状況には影響されないものに。つじつまが合っている。