はじめに

前回は、分類モデル評価の基礎として
Confusion Matrix（混同行列） と TP / TN / FP / FN について整理しました。

今回は、その Confusion Matrix をもとに計算される代表的な評価指標である

accuracy
precision
recall

について整理します。

分類モデルでは、単に「正解率が高いかどうか」だけでは、モデルの良し悪しを正しく判断できないことがあります。

特に、不正検知、スパム検知、医療診断、異常検知のようなケースでは、

誤検知を減らしたいのか
見逃しを減らしたいのか
全体としてどれくらい当たっているのか

によって、重視すべき指標が変わります。

本記事では、分類問題でよく使われる

Accuracy
Precision
Recall

を、初心者にも分かりやすく整理します。

🎯 対象読者

分類モデルの評価指標を整理したい方
accuracy / precision / recall の違いが曖昧な方
Confusion Matrix を学んだあと、次の指標を理解したい方
AWS の AI / ML 系資格を勉強している方
不正検知、スパム検知、医療診断、異常検知の評価を理解したい方

🧩 まず結論：3つの指標は見ているポイントが違う

accuracy、precision、recall は、すべて分類モデルを評価するための指標です。

ただし、それぞれ見ている観点が違います。

指標	見ていること	一言で言うと
Accuracy	全体の中でどれだけ正解したか	全体の正解率
Precision	Positive と予測したものがどれだけ正しかったか	予測の信頼性
Recall	実際の Positive をどれだけ見つけられたか	見逃しの少なさ

覚え方は以下です。

Accuracy = 全体でどれくらい当たったか
Precision = Positive と言ったものがどれくらい正しいか
Recall = 本当の Positive をどれくらい拾えたか

この違いを理解しておくと、試験問題でもかなり判断しやすくなります。

📊 前提：Confusion Matrix をもう一度確認する

accuracy、precision、recall は、以下の4つをもとに計算します。

実際 \ 予測	Positive と予測	Negative と予測
実際は Positive	TP	FN
実際は Negative	FP	TN

それぞれの意味は以下です。

項目	意味
TP	本当の Positive を Positive と予測できた
TN	本当の Negative を Negative と予測できた
FP	本当は Negative なのに Positive と予測した
FN	本当は Positive なのに Negative と予測した

この4つを理解しておくと、評価指標の意味が自然に理解できます。

✅ Accuracy（正解率）とは？

Accuracy は、
全体の予測のうち、どれだけ正しく予測できたか を表す指標です。

計算式

Accuracy = (TP + TN) / 全体

もう少し正確に書くと、以下のようになります。

Accuracy = (TP + TN) / (TP + TN + FP + FN)

つまり、Positive も Negative も含めて、
全体としてどれくらい当たったかを見る指標です。

🧪 Accuracy の例

例えば、100件のデータがあり、そのうち90件を正しく予測できたとします。

正解数：90件
全体：100件

この場合、

Accuracy = 90 / 100 = 90%

になります。

とても分かりやすい指標なので、最初に見る評価指標としてよく使われます。

⚠️ Accuracy の注意点：不均衡データに弱い

Accuracy は分かりやすい一方で、
不均衡データでは misleading になりやすい という大きな注意点があります。

例えば、不正取引検知を考えます。

全体のうち、正常取引が 99%、不正取引が 1% だとします。

このとき、モデルがすべてを「正常」と予測した場合でも、

正常取引 99% は当たる
不正取引 1% は全部見逃す

となり、accuracy は 99% になります。

一見すると非常に高精度に見えますが、
実際には不正取引を1件も検知できていません。

つまり、不正検知モデルとしては役に立たない可能性があります。

📌 Accuracy が向いている場面

Accuracy は、以下のような場面では使いやすいです。

場面	理由
クラスの割合が比較的バランスしている	全体の正解率が意味を持ちやすい
誤判定のコストが大きく偏っていない	FP と FN を同じように扱いやすい
まず全体感を見たい	直感的に理解しやすい

ただし、クラスの偏りが大きい場合は、
accuracy だけで判断しないことが重要です。

🎯 Precision（適合率）とは？

Precision は、
モデルが Positive と予測したもののうち、実際に Positive だった割合 を表します。

計算式

Precision = TP / (TP + FP)

つまり、モデルが「これは Positive です」と言ったものが、
どれくらい信頼できるかを見る指標です。

一言で言うと

Precision = Positive 予測の信頼性

🧪 Precision の例

例えば、モデルが10件を「不正取引」と予測したとします。

そのうち、実際に不正取引だったのが8件で、
残り2件は正常取引だったとします。

TP = 8
FP = 2

この場合、

Precision = 8 / (8 + 2) = 80%

です。

これは、モデルが「不正」と判断した10件のうち、8件は本当に不正だったという意味です。

📌 Precision が重要な場面

Precision が重要なのは、
誤検知（FP）を減らしたい場面 です。

例えば、以下のようなケースです。

正常なメールをスパム扱いしたくない
正常なユーザーを不正ユーザー扱いしたくない
問題ない取引を止めたくない
不要なアラートを大量に出したくない

Precision が低いと、Positive と判定したものの中に間違いが多くなります。

つまり、モデルの Positive 判定を信頼しづらくなります。

🧪 Precision を重視する例：スパムメール検知

スパムメール検知では、普通のメールを誤ってスパム扱いすると大きな問題になります。

例えば、重要な業務メールが迷惑メールフォルダに入ってしまうと、
ユーザーにとって非常に困ります。

このようなケースでは、

普通のメールをスパム扱いしない
= FP を減らしたい
= Precision を重視

という考え方になります。

もちろんスパムを見逃すことも問題ですが、
「通常メールを誤って消す・隠す」ことの影響が大きい場合は precision が重要です。

🚨 Recall（再現率）とは？

Recall は、
実際に Positive だったもののうち、モデルがどれだけ Positive として見つけられたか を表します。

計算式

Recall = TP / (TP + FN)

つまり、本当に見つけるべき Positive を、
どれくらい見逃さずに拾えたかを見る指標です。

一言で言うと

Recall = 見逃しの少なさ

🧪 Recall の例

例えば、実際には10件の不正取引があったとします。

そのうち、モデルが7件を不正取引として検知でき、
3件を見逃したとします。

TP = 7
FN = 3

この場合、

Recall = 7 / (7 + 3) = 70%

です。

これは、本当に存在した不正取引10件のうち、7件を検知できたという意味です。

📌 Recall が重要な場面

Recall が重要なのは、
見逃し（FN）を減らしたい場面 です。

例えば、以下のようなケースです。

疾患を見逃したくない
不正取引を見逃したくない
セキュリティ攻撃を見逃したくない
重大な異常を見逃したくない
解約しそうな顧客を見逃したくない

Recall が低いと、本当に検知すべき対象を見逃してしまいます。

特に、見逃しによる損失やリスクが大きい場合は、recall が非常に重要になります。

🧪 Recall を重視する例：医療診断

医療診断では、病気の可能性がある人を見逃すことが大きな問題になります。

例えば、実際には病気があるのに「問題なし」と判定してしまうと、
治療の機会を逃す可能性があります。

このようなケースでは、

病気の人を見逃さない
= FN を減らしたい
= Recall を重視

という考え方になります。

同じように、不正検知やセキュリティ検知でも、
重大な対象を見逃したくない場合は recall が重要になります。

⚖️ Precision と Recall の違い

Precision と Recall は、どちらも Positive に関係する指標ですが、見ている方向が違います。

指標	分母	見ていること
Precision	TP + FP	Positive と予測したものの中で、どれだけ正しいか
Recall	TP + FN	実際の Positive の中で、どれだけ見つけられたか

言い換えると、

Precision = モデルの Positive 判定がどれだけ信用できるか
Recall = 本当の Positive をどれだけ拾えたか

です。

🧭 Precision と Recall のトレードオフ

Precision と Recall は、両方を同時に最大化するのが難しい場合があります。

例えば、不正検知で、少しでも怪しいものをすべて不正として検知するようにすると、
見逃しは減るため recall は上がりやすくなります。

しかし、その分、正常な取引まで不正と判断する可能性が増えるため、
precision は下がることがあります。

逆に、本当に確実なものだけを不正と判定するようにすると、
precision は上がりやすくなります。

しかし、怪しいが確信度が低いものを見逃す可能性があるため、
recall は下がることがあります。

イメージ

厳しく Positive 判定する → Precision は上がりやすい / Recall は下がりやすい
広く Positive 判定する → Recall は上がりやすい / Precision は下がりやすい

このバランスをどう取るかは、ユースケースによって変わります。

☁️ AWS 試験でよく出るユースケース

AWS の AI / ML 系試験では、accuracy、precision、recall は、
単純な計算問題というよりも、ユースケース判断として問われることがあります。

特に以下のような場面は意識しておきたいです。

ユースケース	重視しやすい指標	理由
不正検知	Recall または Precision	見逃しと誤検知のどちらを重視するかによる
スパム検知	Precision	通常メールをスパム扱いしたくない
医療診断	Recall	病気を見逃したくない
推薦システム	Precision	提案した商品がユーザーに合っていることが重要
異常検知	Recall	重大な異常を見逃したくない

問題文で、

見逃しを最小化したい

とあれば、recall を意識します。

誤検知を減らしたい

とあれば、precision を意識します。

データがバランスしていて、全体の正解率を見たい

とあれば、accuracy が使いやすいです。

👨‍💻 実務目線で見ると

実務では、評価指標を選ぶときに、
「どの間違いがビジネス上より困るのか」を考える必要があります。

例えば、不正検知では、

正常な取引を止めるとユーザー体験が悪くなる
不正取引を見逃すと金銭的損失が出る

という2つの問題があります。

どちらをより重く見るかによって、precision を重視するのか、recall を重視するのかが変わります。

また、医療診断では見逃しのリスクが非常に大きいため、
多少誤検知が増えても recall を重視する場合があります。

このように、評価指標は単なる数式ではなく、
ビジネス要件やリスクとセットで考えるもの です。

🧠 ここは特に覚えたいポイント

覚え方 1

Accuracy = 全体でどれくらい当たったか

覚え方 2

Precision = Positive と予測したものがどれくらい正しいか
= 誤検知を減らしたいときに重要

覚え方 3

Recall = 実際の Positive をどれくらい見つけたか
= 見逃しを減らしたいときに重要

覚え方 4

不均衡データでは Accuracy だけを見ない

✅ まとめ

今回は、分類モデルの代表的な評価指標である

accuracy
precision
recall

について整理しました。

重要なポイントは以下です。

accuracy は、全体の中でどれだけ正解したかを見る指標
precision は、Positive と予測したものがどれだけ正しかったかを見る指標
recall は、実際の Positive をどれだけ見つけられたかを見る指標
不均衡データでは、accuracy だけを見ると判断を誤ることがある
誤検知を減らしたい場合は precision が重要
見逃しを減らしたい場合は recall が重要
どの指標を重視するかは、ユースケースとビジネス要件によって変わる

分類モデルを評価するときは、単に「正解率が高い」と見るのではなく、
何を間違えると困るのか まで考えることが大切です。

📌 次回予告

次回は、precision と recall の両方を考慮する評価指標である

F1 score

について整理します。

特に、不均衡データで accuracy だけでは判断しにくい場合に、
F1 score がどのように役立つのかを分かりやすく整理します。