はじめに
分類モデルの評価によく使われる指標（Accuracy / Recall / Precision / F1スコア）について、イメージしづらかったので、備忘録程度にまとめました。まずこれらの指標の土台となる予測結果の4分類（TP/TN/FP/FN）を整理してから、各指標を見ていきます。
1. 予測結果の4分類（TP/TN/FP/FN）
二値分類（Positive / Negative）の場合、予測結果は以下の4種類に分類されます。
| 予測: Positive | 予測: Negative | |
|---|---|---|
| 実際: Positive | TP（真陽性） | FN（偽陰性） |
| 実際: Negative | FP（偽陽性） | TN（真陰性） |
各セルの意味：
| 略称 | 日本語名 | 意味 |
|---|---|---|
| TP (True Positive) | 真陽性 | 実際に Positive で、Positive と予測できた（正解） |
| TN (True Negative) | 真陰性 | 実際に Negative で、Negative と予測できた（正解） |
| FP (False Positive) | 偽陽性 | 実際は Negative なのに、Positive と予測してしまった（誤り） |
| FN (False Negative) | 偽陰性 | 実際は Positive なのに、Negative と予測してしまった（誤り） |
2. Accuracy（正解率）とその限界
1章で整理した4分類を踏まえると、Accuracy は「全予測のうち正解した割合」として次のように表せます。
$$\text{Accuracy} = \frac{TP + TN}{\text{TP + TN + FP + FN}}$$
最もシンプルな評価指標ですが、これだけでは足りないケースがあります。
例：がん検診のAIモデル
- データセット
- がん患者：100人
- 健康な人：9,900人（合計10,000人）
ここで、全員を"陰性（健康）"と予測するだけのモデルを作ったとします。
$$
\text{Accuracy} = \frac{9900}{10000} = 0.99
$$
99%の正解率ですが、このモデルはがん患者を1人も発見できていません。
これが不均衡データにおける Accuracy の問題点です。多数派クラス（健康な人）を正しく当て続けるだけで高スコアが出るため、少数派クラス（がん患者）への予測性能が隠れてしまいます。
3. Recall（再現率）と Precision（適合率）
Recall（再現率）
$$\text{Recall} = \frac{TP}{TP + FN}$$
見逃しの少なさを見る
- 分母
TP + FN= 実際の Positive の総数 - 分子
TP= その中で正しく Positive と予測できたもの
Recall が 1 に近いほど、実際の Positive を見逃していないことを示します。
ただし、Recall の式には FP（誤検知）が含まれません。そのため、「全部 Positive と予測する」だけでも Recall = 1.0 になります。Recall が高くても、誤って検知しているものが多い可能性がある点に注意が必要です。
Precision（適合率）
$$\text{Precision} = \frac{TP}{TP + FP}$$
予測の精度を見る指標
- 分母
TP + FP= Positive と予測した総数 - 分子
TP= その中で本当に Positive だったもの
Precision が 1 に近いほど、Positive と予測したものが実際に Positive である精度が高いことを示します。
ただし、Precision の式には FN（見逃し）が含まれません。そのため、「確実なものだけ Positive と予測する」だけでも Precision = 1.0 になります。Precision が高くても、実際のPositiveを多く見逃している可能性がある点に注意が必要です。
Recall と Precision の比較
| 観点 | Recall | Precision |
|---|---|---|
| 気にする誤り | FN（見逃し） | FP（誤検知） |
| 意味 | 本物を何件拾えたか | 予測した件数のうち何件が本物か |
| 上げる方法 | 閾値を下げる（積極的に Positive にする） | 閾値を上げる（確実なものだけ Positive にする） |
※ 閾値：「この確率以上なら Positive と予測する」という境界値
4. Recall と Precision、どちらを重視するか
Recall と Precision はトレードオフの関係にあります。どちらを重視すべきかは見逃しと誤検知、どちらがより影響が大きいかで決まります。
見逃しを避けたい → Recall 重視
FN（見逃し）が多いと困る場面：
- がん検診・疾患スクリーニング：見落とすと手遅れになる
- 不正検知（クレジットカード詐欺）：見落とすと実害が出る
「誤検知（FP）が多少増えても構わないから、見逃し（FN）をゼロに近づけたい」という状況で Recall を優先します。
誤検知を避けたい → Precision 重視
FP（誤検知）が多いと困る場面：
- スパムフィルター：重要なメールをスパムと誤判定するリスクがある
- レコメンドエンジン：興味のない広告を出し続けるとユーザー体験が下がる
「見逃し（FN）が出ても、予測するときは確実なものだけを予測したい」という状況で Precision を優先します。
5. F1スコア
$$
\text{F1} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}
$$
Recall と Precision の調和平均です。両方のバランスを取りたいときに使います。
算術平均 (P+R)/2 ではなく調和平均を使う理由
調和平均ではどちらかが極端に低いと全体スコアも低くなるため、「片方だけ高くて満足」という状況を防げます。
例：Precision=0.9、Recall=0.1 の場合
- 算術平均：0.50
- 調和平均（F1）：0.18
6. まとめ
重視する評価指標の選び方
データの性質で選ぶ
| 状況 | 推奨指標 |
|---|---|
| クラスがバランスよく分布している | Accuracy |
| データが不均衡 | Accuracy だけでは不十分 |
何を重視するかで選ぶ
| 状況 | 推奨指標 |
|---|---|
| 見逃しを避けたい | Recall |
| 誤検知を避けたい | Precision |
| どちらも同じくらい重視したい | F1スコア |
各指標の公式
| 指標 | 公式 | 見ているもの |
|---|---|---|
| Accuracy | $\frac{TP+TN}{TP+TN+FP+FN}$ | 全体の正解率 |
| Recall | $\frac{TP}{TP+FN}$ | 本物を何件拾えたか |
| Precision | $\frac{TP}{TP+FP}$ | 予測のうち何件が本物か |
| F1 | $\frac{2 \times P \times R}{P+R}$ | Recall と Precision のバランス |
重視する指標は「何を許容できないか」から選びます。
見逃しを許容できないのであれば Recall、誤検知を許容できないのであれば Precision を重視します。
7. おまけ：クラス別スコアを読んでみる
ここでは、架空の果物分類モデルを例に、クラス別の Precision/Recall を読み解いてみます。
以下はサンプル出力です。
クラス Precision Recall
--------------------------------
apple 0.392 0.681
grape 0.857 0.333
apple：Precision=0.392、Recall=0.681
Recall が高く「よく拾えている」が、Precision が低く「apple と言ったときの約61%は別クラス」という状態です。
grape：Precision=0.857、Recall=0.333
Precision が高く「予測したらほぼ本物」だが、Recall が低く「実際の grape の約33%しか検出できていない」状態です。
2つを比較
| クラス | 性質 | 意味 |
|---|---|---|
| apple | P低, R高 | 積極的に検知するが外れも多い |
| grape | P高, R低 | 慎重に検知するが見逃しが多い |
このように、モデル全体のスコアだけでなく、クラス別のスコアを見ることで、どのクラスをどう改善すべきかの方針が見えてきます。