(※もしお気付きの点がありましたら、編集リクエスト・コメントなどご指摘お願い致します。)
その他のPrecision, Recall系の記事のまとめページ一覧はこちら。
Precision, Recall, F値の定義式 (通常・一般的なもの)
通常、Precision, Recall, F値の定義式は、以下のような形で紹介されています。(2択の判別問題の場合)
引用: https://qiita.com/conjugate_box/items/e568909df734cf0b200d
参考: https://datawokagaku.com/classifier_metrics1/
参考: https://en.wikipedia.org/wiki/Precision_and_recall#Definition_(classification_context)
真のラベル 予測ラベル 表記 正 正 True Positive ($TP$) 正 負 False Negative ($FN$) 負 正 False Positive ($FP$) 負 負 True Negative ($TN$) 上記の記号を用い,PrecisionとRecallを次で定義する.
Precision=\frac{TP}{TP+FP}, Recall=\frac{TP}{TP+FN}
簡単のため以降ではP=Precision, R=Recallとする.
この時,次で定義される値がF値(もしくはF1値)と呼ばれるものになる.F=2\frac{P∗R}{P+R}
以降では、このPrecision・Recallの定義式
Precision=\frac{TP}{TP+FP}, Recall=\frac{TP}{TP+FN}
を、より分かり易い形で表して、直感的な理解を試みます。また、分かり易い形で表すことで、Precision・Recallが持つ特性を理解することも簡単になるので、これらの特性についてより直感的に解釈してみます。
具体的な判別問題を例にして考える
少し具体的な判別問題を用意して考えてみると、
例えば、ある10枚の画像を見た時に、それぞれの画像を4つのクラス(①, ②, ③, ④)のカテゴリに判別して見分ける問題を考えて、(カテゴリ数$n_{cat}=4$個、サンプル回数$n=10$回とおく)、
例えば、それぞれの画像で正解が以下のような分布になっていたとします(=正解の分布)。ここでは以下のような分かり易い分布にしておきます。
画像番号 | 1枚目 | 2枚目 | 3枚目 | 4枚目 | 5枚目 | 6枚目 | 7枚目 | 8枚目 | 9枚目 | 10枚目 |
---|---|---|---|---|---|---|---|---|---|---|
正解カテゴリ | ① | ② | ③ | ④ | ① | ② | ③ | ① | ② | ① |
そして、これらの10枚の画像を、何らかの識別器を用いて判別した結果、例えば、以下のような判別結果になったとします(=判別結果の分布)。同様にここでは以下のような分かり易い分布にしておきます。
画像番号 | 1枚目 | 2枚目 | 3枚目 | 4枚目 | 5枚目 | 6枚目 | 7枚目 | 8枚目 | 9枚目 | 10枚目 |
---|---|---|---|---|---|---|---|---|---|---|
判別結果 | ① | ② | ③ | ④ | ① | ② | ① | ③ | ① | ③ |
正解・誤答 | 正 | 正 | 正 | 正 | 正 | 正 | 誤 | 誤 | 誤 | 誤 |
この具体的な判別結果を基に、定義式の中にある$TP$、$FP$、$FN$等の個数を数えていくことで、Precision・Recall、及び、Precision・Recallの定義式の中にある$TP$、$TP+FP$、$TP+FN$について具体的に考えてみます。
Precisionの定義式の中のTP、TP+FPについて
TPについて
Precisionの定義式
Precision=\frac{TP}{TP+FP}
にある$TP$は、
真のラベル 予測ラベル 表記 正 正 True Positive ($TP$)
の通り、正解したものの個数を数えた正解数そのもので、比較的分かり易く、
例えば、カテゴリ①に対するPrecision(=$P_①$とおく)について考えると、
$P_①$の定義式の中に含まれる、カテゴリ①に対する$TP$(=$TP_①$とおく)は、10枚の画像(=10回の評価)の中で、①が正解となる画像の時に、識別器が①と判別して正答できた回数となるので、前述の表から正解した①の数を数えると、1枚目と5枚目の2回分となり(下表)、$TP_①=2$。
画像番号 | 1枚目 | 2枚目 | 3枚目 | 4枚目 | 5枚目 | 6枚目 | 7枚目 | 8枚目 | 9枚目 | 10枚目 |
---|---|---|---|---|---|---|---|---|---|---|
正解カテゴリ | ① | ② | ③ | ④ | ① | ② | ③ | ① | ② | ① |
判別結果 | ① ↑ |
② | ③ | ④ | ① ↑ |
② | ① | ③ | ① | ③ |
正解・誤答 | 正 | 正 | 正 | 正 | 正 | 正 | 誤 | 誤 | 誤 | 誤 |
TP+FPについて
Precisionの定義式の中に含まれる、分母$TP+FP$について、$FP$は、
真のラベル 予測ラベル 表記 負 正 False Positive ($FP$)
同様に、カテゴリ①に対する$FP$(=$FP_①$とおく)を考えると、10枚の画像(=10回の評価)の中で、①が正解ではない画像の時に、識別器が誤って①と判別してしまった回数であり、前述の表から①と誤答した数を数えると、7枚目と9枚目の2回分となり(下表)、$FP_①=2$。
画像番号 | 1枚目 | 2枚目 | 3枚目 | 4枚目 | 5枚目 | 6枚目 | 7枚目 | 8枚目 | 9枚目 | 10枚目 |
---|---|---|---|---|---|---|---|---|---|---|
正解カテゴリ | ① | ② | ③ | ④ | ① | ② | ③ | ① | ② | ① |
判別結果 | ① | ② | ③ | ④ | ① | ② | ① ↑ |
③ | ① ↑ |
③ |
正解・誤答 | 正 | 正 | 正 | 正 | 正 | 正 | 誤 | 誤 | 誤 | 誤 |
なので、分母$TP_①+FP_①$は2+2=4となり、$P_①$=2/4=0.5、カテゴリ①に対するPrecisionは0.5と求めることが出来ます。
ここで、分母$TP+FP$について注目すると、$TP+FP$とは、前述の表を用いて数を数えた時の数え方を見れば(下表に再掲)、結局、正答・誤答に関係なく、とにかく識別器が①と判別した回数全てになっていることが分かります(より厳密には、正答時は$TP_①$、誤答時は$FP_①$で、合わせると正答・誤答に関係ない合計値となる)。$TP+FP$の和の形は、正解が何であったかの情報に関係なく、識別器が判別した結果の分布だけで決まる値となっています。
画像番号 | 1枚目 | 2枚目 | 3枚目 | 4枚目 | 5枚目 | 6枚目 | 7枚目 | 8枚目 | 9枚目 | 10枚目 |
---|---|---|---|---|---|---|---|---|---|---|
正解カテゴリ | ① | ② | ③ | ④ | ① | ② | ③ | ① | ② | ① |
判別結果 | ① ↑ |
② | ③ | ④ | ① ↑ |
② | ① ↑ |
③ | ① ↑ |
③ |
正解・誤答 | 正 | 正 | 正 | 正 | 正 | 正 | 誤 | 誤 | 誤 | 誤 |
つまり、Precisionの分母$TP+FP$は、判別結果の分布そのものになり、識別器が出力した結果のデータ列から単に判別結果のヒストグラムを作れば得られる値になっています。
判別結果の分布・ヒストグラム
Precisionの分母$TP+FP$は、判別結果のヒストグラムから得られる値となっているので、判別結果のヒストグラムをここで求めておくと、
識別器が出力した結果のデータ列から(前述の表)、①と判別した個数、②と判別した個数…、と数えていくだけですぐに判別結果のヒストグラムを求めることが出来、順に数えたものが下表のようになります。これらを、$n_{a①}$、$n_{a②}$…、$n_{a④}$、の文字で置いておきます。(個数なのでnumberのnを代表文字として使用し、識別器が判別して回答した結果なので、answerのaを添え字に付けたもの)
(分布の個数$n_{a①}$~$n_{a④}$) | 判別結果のヒストグラム |
---|---|
識別器が①と判別した個数$n_{a①}$ | 4 |
識別器が②と判別した個数$n_{a②}$ | 2 |
識別器が③と判別した個数$n_{a③}$ | 3 |
識別器が④と判別した個数$n_{a④}$ | 1 |
判別結果のデータ列を再掲: (このデータ列のヒストグラムを求めるだけ)
画像番号 | 1枚目 | 2枚目 | 3枚目 | 4枚目 | 5枚目 | 6枚目 | 7枚目 | 8枚目 | 9枚目 | 10枚目 |
---|---|---|---|---|---|---|---|---|---|---|
判別結果 | ① | ② | ③ | ④ | ① | ② | ① | ③ | ① | ③ |
Precisionをシンプルな形へ書き換え
この判別結果のヒストグラムの値(識別器が①と判別した個数$n_{a①}$)を用いて、Precisionの定義式を書き換えると、
カテゴリ①に対するPrecision(=$P_①$)は、
P_①=\frac{TP_①}{TP_①+FP_①}=\frac{識別器が①と判別して正答した個数}{識別器が①と判別した個数}=\frac{TP_①}{n_{a①}}
となり、Precision(=$P_①$)は、識別器が①と判別して正答した個数と、識別器が①と判別した個数の比の値($\frac{TP_①}{n_{a①}}$)として、よりシンプルな形(2値の比)で表されました。
Precisionの特性
カテゴリ①に対するPrecision(=$P_①$)が、2値の比の形で表されたので、
P_①=\frac{TP_①}{n_{a①}}
その特性は、分母・分子の大小を見るだけでよくなります。
すると、Precisionの特性は、
-
識別器の性能が向上して①と正答する個数が増えれば(分子が増)、当然、Precisionは大きくなり、
-
識別器が当てずっぽうで①と必要以上に多く判別して(分母が増)、その割に正答する個数が増えなければ(分子が一定)、当てずっぽうで回答した影響でPrecisionは小さくなります。
-
反対に、識別器が自信のない時にはあまり①と答えないように控えると(分母が減)、確実に分かる時だけ①と答えるので、正答する個数はあまり減らず(分子が一定)、Precisionは大きくなることが分かります。
TP、TP+FPを割合で表記
前述の$TP_①$、$TP_①+FP_①$($=n_{a①}$)等は、それぞれ個数の値ですが、これを全体のサンプル回数($n=10$回)に対する割合で表記したものを、ここでは別途用意しておきます。
割合で表記すると、全体のサンプル回数(評価数の規模)が変わっても割合は同じ値となり、値の感覚を掴み易く分かり易い場合があります。また、個数の値が1万など、数値が大きくなってくると、数値の表記が長くて見づらくなるので、割合で表記して小数点3桁等までを毎回表記することで、毎回同じ形式で表記できるようになります。
判別結果のヒストグラムの値を、全体(サンプル回数$n=10$回)に対する割合で表して、$w_{a①}=n_{a①}/n$、$w_{a②}=n_{a②}/n$…、のように置くことにします。(割合なのでweightのwを代表文字として使用し、識別器が判別して回答した結果なので、answerのaを添え字に付けたもの)
(分布の個数$n_{a①}$~$n_{a④}$) | 判別結果の ヒストグラム |
(分布の割合$w_{a①}$~$w_{a④}$) | 判別結果の ヒストグラムを 割合で表記 |
---|---|---|---|
識別器が①と判別した個数$n_{a①}$ | 4 | 識別器が①と判別した割合$w_{a①}$ | 4/10 = 0.4 |
識別器が②と判別した個数$n_{a②}$ | 2 | 識別器が②と判別した割合$w_{a②}$ | 2/10 = 0.2 |
識別器が③と判別した個数$n_{a③}$ | 3 | 識別器が③と判別した割合$w_{a③}$ | 3/10 = 0.3 |
識別器が④と判別した個数$n_{a④}$ | 1 | 識別器が④と判別した割合$w_{a④}$ | 1/10 = 0.1 |
判別結果のヒストグラムを割合で表した$w_{a①}$~$w_{a④}$を用いて、カテゴリ①に対するPrecision(=$P_①$)を書き換えると、$n_{a①} = n w_{a①}$なので、
P_①=\frac{TP_①}{TP_①+FP_①}=\frac{識別器が①と判別して正答した個数}{識別器が①と判別した個数}=\frac{TP_①}{n_{a①}}=\frac{TP_①}{n w_{a①}}=\frac{TP_①/n}{w_{a①}}
$TP_①$(識別器が①と判別して正答した個数)についても、同様に割合で表して、$w_{TP①}=TP_①/n$と置くと、
P_①=\frac{TP_①}{TP_①+FP_①}=\frac{TP_①}{n_{a①}}=\frac{TP_①/n}{w_{a①}}=\frac{w_{TP①}}{w_{a①}}
のような形になります。
Recallの定義式の中のTP、TP+FNについて
TPについて
Recallの定義式
Recall=\frac{TP}{TP+FN}
にある$TP$は、Precisionのものと同じになるので、省略します。(前述の節を参照、数えた表のみ再掲)
https://qiita.com/dl_from_scratch/items/af934432965ff532b967#tp%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6
画像番号 | 1枚目 | 2枚目 | 3枚目 | 4枚目 | 5枚目 | 6枚目 | 7枚目 | 8枚目 | 9枚目 | 10枚目 |
---|---|---|---|---|---|---|---|---|---|---|
正解カテゴリ | ① | ② | ③ | ④ | ① | ② | ③ | ① | ② | ① |
判別結果 | ① ↑ |
② | ③ | ④ | ① ↑ |
② | ① | ③ | ① | ③ |
正解・誤答 | 正 | 正 | 正 | 正 | 正 | 正 | 誤 | 誤 | 誤 | 誤 |
TP+FNについて
Recallの定義式の中に含まれる、分母$TP+FN$について、$FN$は、
真のラベル 予測ラベル 表記 正 負 False Negative ($FN$)
カテゴリ①に対する$FN$(=$FN_①$とおく)を考えると、10枚の画像(=10回の評価)の中で、①が正解となる画像の時に、識別器が誤って①以外(②~④いずれか)と判別してしまった回数であり、前述の表から①が正解の時に誤答した数を数えると、8枚目と10枚目の2回分となり(下表)、$FN_①=2$。
画像番号 | 1枚目 | 2枚目 | 3枚目 | 4枚目 | 5枚目 | 6枚目 | 7枚目 | 8枚目 | 9枚目 | 10枚目 |
---|---|---|---|---|---|---|---|---|---|---|
正解カテゴリ | ① | ② | ③ | ④ | ① | ② | ③ | ① | ② | ① |
判別結果 | ① | ② | ③ | ④ | ① | ② | ① | ③ ↑ |
① | ③ ↑ |
正解・誤答 | 正 | 正 | 正 | 正 | 正 | 正 | 誤 | 誤 | 誤 | 誤 |
なので、分母$TP_①+FN_①$は2+2=4となり、$R_①$=2/4=0.5、カテゴリ①に対するRecallは0.5と求めることが出来ます。
ここで、分母$TP+FN$について注目すると、$TP+FN$とは、前述の表を用いて数を数えた時の数え方を見れば(下表に再掲)、結局、識別器の回答内容に関係なく、とにかく①が正解となる画像の数全てになっていることが分かります(より厳密には、正答時は$TP_①$、誤答時は$FN_①$で、合わせると正答・誤答に関係ない合計値となる)。$TP+FN$の和の形は、識別器の判別結果が何であったかの情報に関係なく、正解値の分布だけで決まる値となっています。
画像番号 | 1枚目 | 2枚目 | 3枚目 | 4枚目 | 5枚目 | 6枚目 | 7枚目 | 8枚目 | 9枚目 | 10枚目 |
---|---|---|---|---|---|---|---|---|---|---|
正解カテゴリ | ① | ② | ③ | ④ | ① | ② | ③ | ① | ② | ① |
判別結果 | ① ↑ |
② | ③ | ④ | ① ↑ |
② | ① | ③ ↑ |
① | ③ ↑ |
正解・誤答 | 正 | 正 | 正 | 正 | 正 | 正 | 誤 | 誤 | 誤 | 誤 |
つまり、Recallの分母$TP+FN$は、正解値の分布そのものになり、正解(真値)のデータ列から単に正解値のヒストグラムを作れば得られる値になっています。
正解の分布・ヒストグラム
Recallの分母$TP+FN$は、正解値のヒストグラムから得られる値となっているので、正解値のヒストグラムをここで求めておくと、
正解(真値)のデータ列から(前述の表)、①が正解となる個数、②が正解となる個数…、と数えていくだけですぐに正解値のヒストグラムを求めることが出来、順に数えたものが下表のようになります。これらを、$n_{t①}$、$n_{t②}$…、$n_{t④}$、の文字で置いておきます。(個数なのでnumberのnを代表文字として使用し、正解値の分布なので、trueのtを添え字に付けたもの)
(分布の個数$n_{t①}$~$n_{t④}$) | 正解値のヒストグラム |
---|---|
①が正解となる個数$n_{t①}$ | 4 |
②が正解となる個数$n_{t②}$ | 3 |
③が正解となる個数$n_{t③}$ | 2 |
④が正解となる個数$n_{t④}$ | 1 |
正解(真値)のデータ列を再掲: (このデータ列のヒストグラムを求めるだけ)
画像番号 | 1枚目 | 2枚目 | 3枚目 | 4枚目 | 5枚目 | 6枚目 | 7枚目 | 8枚目 | 9枚目 | 10枚目 |
---|---|---|---|---|---|---|---|---|---|---|
正解カテゴリ | ① | ② | ③ | ④ | ① | ② | ③ | ① | ② | ① |
Recallをシンプルな形へ書き換え
この正解値のヒストグラムの値(①が正解となる個数$n_{t①}$)を用いて、Recallの定義式を書き換えると、
カテゴリ①に対するRecall(=$R_①$)は、
R_①=\frac{TP_①}{TP_①+FN_①}=\frac{識別器が①と判別して正答した個数}{①が正解となる個数}=\frac{TP_①}{n_{t①}}
となり、Recall(=$R_①$)は、識別器が①と判別して正答した個数と、①が正解となる個数の比の値($\frac{TP_①}{n_{t①}}$)として、よりシンプルな形(2値の比)で表されました。
Recallの特性 (及び、PrecisionとRecallが逆の動きとなる特性について)
カテゴリ①に対するRecall(=$R_①$)が、2値の比の形で表されたので、
R_①=\frac{TP_①}{n_{t①}}
その特性は、分母・分子の大小を見るだけでよくなります。
すると、Recallの特性は、
-
識別器の性能が向上して①と正答する個数が増えれば(分子が増)、当然、Recallは大きくなり、
-
①が正解となる画像が多くあるデータセットの時に(分母が増)、その割に正答する個数が増えなければ(分子が一定)、Recallは小さくなります。これは、相対的に識別器があまり①と答えないように控えて回答したことになります。
- すると、前述の「Precisionの特性」節に記載の通り、識別器があまり①と答えないように控えるので(Precisionの分母は減)、Recallとは反対にPrecisionは大きくなり、PrecisionとRecallは逆の動き(相反する増減)となります。
-
反対に、①が正解となる画像が少ないデータセットの時に(分母が減)、その割に正答する個数が減らなければ(分子が一定)、Recallは大きくなります。これは、単に識別器の性能が向上して正解率が増加したのでRecallが大きくなったケースと、あるいは、相対的に識別器が当てずっぽうで①ばかり回答して①の正解数だけを増やしたことで(分子が増)、Recallが大きくなったケースが考えられます。
- 後者のケースでは、前述の「Precisionの特性」節に記載の通り、識別器が当てずっぽうで①ばかり回答するので(Precisionの分母が増)、Recallとは反対にPrecisionは小さくなり、PrecisionとRecallは逆の動き(相反する増減)となります。
TP、TP+FNを割合で表記
前述の$TP_①$、$TP_①+FN_①$($=n_{t①}$)等は、それぞれ個数の値ですが、これを全体のサンプル回数($n=10$回)に対する割合で表記したものを、ここでは別途用意しておきます。
割合で表記すると、全体のサンプル回数(評価数の規模)が変わっても割合は同じ値となり、値の感覚を掴み易く分かり易い場合があります。また、個数の値が1万など、数値が大きくなってくると、数値の表記が長くて見づらくなるので、割合で表記して小数点3桁等までを毎回表記することで、毎回同じ形式で表記できるようになります。
正解値のヒストグラムの値を、全体(サンプル回数$n=10$回)に対する割合で表して、$w_{t①}=n_{t①}/n$、$w_{t②}=n_{t②}/n$…、のように置くことにします。(割合なのでweightのwを代表文字として使用し、正解値の分布なので、trueのtを添え字に付けたもの)
(分布の個数$n_{t①}$~$n_{t④}$) | 正解値の ヒストグラム |
(分布の割合$w_{t①}$~$w_{t④}$) | 正解値の ヒストグラムを 割合で表記 |
---|---|---|---|
①が正解となる個数$n_{t①}$ | 4 | ①が正解となる割合$w_{t①}$ | 4/10 = 0.4 |
①が正解となる個数$n_{t②}$ | 3 | ①が正解となる割合$w_{t②}$ | 3/10 = 0.3 |
①が正解となる個数$n_{t③}$ | 2 | ①が正解となる割合$w_{t③}$ | 2/10 = 0.2 |
①が正解となる個数$n_{t④}$ | 1 | ①が正解となる割合$w_{t④}$ | 1/10 = 0.1 |
正解値のヒストグラムを割合で表した$w_{t①}$~$w_{t④}$を用いて、カテゴリ①に対するRecall(=$R_①$)を書き換えると、$n_{t①} = n w_{t①}$なので、
R_①=\frac{TP_①}{TP_①+FN_①}=\frac{識別器が①と判別して正答した個数}{①が正解となる個数}=\frac{TP_①}{n_{t①}}=\frac{TP_①}{n w_{t①}}=\frac{TP_①/n}{w_{t①}}
$TP_①$(識別器が①と判別して正答した個数)についても、同様に割合で表して、$w_{TP①}=TP_①/n$と置くと、
R_①=\frac{TP_①}{TP_①+FN_①}=\frac{TP_①}{n_{t①}}=\frac{TP_①/n}{w_{t①}}=\frac{w_{TP①}}{w_{t①}}
のような形になります。
R_①=\frac{TP_①}{TP_①+FN_①}=\frac{TP_①}{n_{t①}}=\frac{TP_①/n}{w_{t①}}=\frac{w_{TP①}}{w_{t①}}
まとめ : より分かり易い形で表したPrecision・Recallの定義式
カテゴリ①に対するPrecision(=$P_①$):
P_①=\frac{TP_①}{TP_①+FP_①}=\frac{識別器が①と判別して正答した個数}{識別器が①と判別した個数}=\frac{TP_①}{n_{a①}}=\frac{w_{TP①}}{w_{a①}}
カテゴリ①に対するRecall(=$R_①$):
R_①=\frac{TP_①}{TP_①+FN_①}=\frac{識別器が①と判別して正答した個数}{①が正解となる個数}=\frac{TP_①}{n_{t①}}=\frac{w_{TP①}}{w_{t①}}
並べて書くと:
P_①=\frac{TP_①}{n_{a①}}, R_①=\frac{TP_①}{n_{t①}}
P_①=\frac{w_{TP①}}{w_{a①}}, R_①=\frac{w_{TP①}}{w_{t①}}
PrecisionとRecallの間に発生する差とは何か
PrecisionとRecallの間に発生する差とは何かを、前述のシンプルな形へ書き換えた定義式を用いて考えてみます。
まず、PrecisionとRecallの違いは、
P_①=\frac{w_{TP①}}{w_{a①}}, R_①=\frac{w_{TP①}}{w_{t①}}
上記のように、分母$w_{a①}$、$w_{t①}$の違いだけとなっており、つまり、$w_{a①}$、$w_{t①}$の間に違いが生じた際に、PrecisionとRecallの間に差が発生することになります。
$w_{a①}$、$w_{t①}$の間に違いが生じるとは、正解(真値)の分布と判別結果の分布に違いがある場合となり、正解(真値)の分布に対して識別器が回答した分布が異なっていればいる程、PrecisionとRecallの間に差が発生することになります。
差の形で見た場合
前述のPrecisionとRecallを用いて、
P_①=\frac{w_{TP①}}{w_{a①}}, R_①=\frac{w_{TP①}}{w_{t①}}
PrecisionとRecallの差$R_① - P_①$を計算すると、
R_① - P_① = \frac{w_{TP①}}{w_{t①}} - \frac{w_{TP①}}{w_{a①}}
= \frac{w_{TP①} w_{a①} - w_{TP①} w_{t①}}{w_{t①} w_{a①}}
= \frac{w_{TP①}}{w_{t①} w_{a①}} (w_{a①} - w_{t①})
式の中で差が発生する箇所は、$w_{a①} - w_{t①}$の部分で、この差が発生した時に、PrecisionとRecallの間に差が発生することが分かります。
これは、正解(真値)の分布と判別結果の分布の間に違いが発生した場合となり、正解(真値)の分布に対して識別器が回答した分布が異なれば異なる程、PrecisionとRecallの間に差が発生することが分かります。
ただ、PrecisionとRecallの差$R_① - P_①$の値の意味については、$w_{a①} - w_{t①}$の前に$\frac{w_{TP①}}{w_{a①} w_{t①}}$が係数として付いているので、$w_{TP①}, w_{a①}, w_{t①}$に応じて係数の大きさが様々に変わってしまい、分かりにくい形になっています。このことから、PrecisionとRecallの差$R_① - P_①$の値が持つ意味については、解釈しづらいものがあります。
そこで、以降では、差の形以外で見た場合について、考えてみます。
比の形で見た場合
PrecisionとRecallの比の形$\frac{R_①}{P_①}$を計算すると、
\frac{R_①}{P_①} = \frac{ \frac{w_{TP①}}{w_{t①}} }{ \frac{w_{TP①}}{w_{a①}} }
= \frac{w_{a①}}{w_{t①}}
となり、単純に、正解(真値)の分布$w_{t①}$と判別結果の分布$w_{a①}$の比の形となり、分かり易い形になります。
PrecisionとRecallの比の形は、正解の分布に対して判別結果の分布が何倍異なるか(真値の分布に対して識別器出力の分布が何倍異なるか、$\frac{w_{a①}}{w_{t①}}$倍)を表すものになっています。
逆数の差の形で見た場合
PrecisionとRecallの逆数の差の形$\frac{1}{P_①} - \frac{1}{R_①}$を計算すると、
\frac{1}{P_①} - \frac{1}{R_①} = \frac{1}{\frac{w_{TP①}}{w_{a①}}} - \frac{1}{\frac{w_{TP①}}{w_{t①}}}
= \frac{w_{a①}}{w_{TP①}} - \frac{w_{t①}}{w_{TP①}}
= \frac{1}{w_{TP①}} (w_{a①} - w_{t①})
となり、正解(真値)の分布と判別結果の分布の差$w_{a①} - w_{t①}$を、正解した個数$TP_①$で正規化した形と見ることが出来ます。
まとめ
PrecisionとRecallの間に発生する差とは何かを見るには、よりシンプルな式の形で求まる「比の形で見た場合」が最も分かり易いと思われます。
PrecisionとRecallの間の関係
前述の「比の形で見た場合」節の結果から、PrecisionとRecallの間の関係式は、
\frac{R_①}{P_①} = \frac{w_{a①}}{w_{t①}}
従って、
P_① : R_① = w_{t①} : w_{a①}
あるいは、
R_① = \frac{w_{a①}}{w_{t①}} P_①
となり、Precisionに、分布の比($\frac{w_{a①}}{w_{t①}}$=$\frac{判別結果の分布}{正解の分布}$)を掛けると、Recallになることが分かります。
F値とは
同様に、F値について、前述のシンプルな形へ書き換えた定義式を用いて考えてみます。
カテゴリ①に対するF値の定義式は、
F_①=2\frac{P_①∗R_①}{P_①+R_①}
前述のシンプルな形へ書き換えたPrecisionとRecallを用いて計算すると、
F_① = 2 \frac{\frac{w_{TP①}}{w_{a①}} ∗ \frac{w_{TP①}}{w_{t①}}}{\frac{w_{TP①}}{w_{a①}} + \frac{w_{TP①}}{w_{t①}}}
= 2 \frac{w_{TP①} w_{TP①}}{w_{TP①} w_{t①} + w_{TP①} w_{a①}}
= 2 \frac{w_{TP①}}{w_{a①} + w_{t①}}
= \frac{w_{TP①}}{\frac{w_{a①} + w_{t①}}{2}}
まとめると、
P_①=\frac{w_{TP①}}{w_{a①}}, R_①=\frac{w_{TP①}}{w_{t①}}, F_① = \frac{w_{TP①}}{\frac{w_{a①} + w_{t①}}{2}}
それぞれを並べて見ると、F値は、PrecisionとRecallの定義式の中で差異のある分母($w_{a①}$と$w_{t①}$)の部分を、単純に平均した形($\frac{w_{a①} + w_{t①}}{2}$)になっています。PrecisionとRecallの定義式の中で差異のある部分を平均したものなので、F値は、当然、PrecisionとRecallの間の値になることが分かります。