評価指標覚え方メモ
機械学習の評価指標は名前がわかりにくいものが多い (特に単純なものほど) 。
学生自体に困り、諦めたが、社会人になり会話の中に出てくるようになってきたため覚え方をまとめる。
第一種の過誤・第二種の過誤
第一種の過誤はFP (=偽陽性=モデルが陽性と誤る)、第二種の過誤はNP (=偽陰性=モデルが陰性と誤る)。
語源などは微妙だったため、「オオカミ少年」で覚える。
オオカミ少年は、はじめ「狼が出ていないのに、狼を検出したと嘘をついた」 (偽陽性) 。 (第一種は偽陽性)
しかし、後で「本当は狼が出ているのに、狼は検出していないことになった」（偽陰性）。 (第ニ種は偽陰性)
※ 正確なお話的には偽陰性というか真陽性だったのにシカトされたという話だが、また良いかなと。。
適合率 (Precision) と再現率 (Recall)
英語: Precision vs Recall
Precision の語源はラテン語 praecidere「切り取る・切り詰める」で、「切り詰められた純粋さ」、転じて「無駄がなく正確」という意味を表す。
Precisionはモデル予測の純度 = 「モデルが陽性と言ったものの中に、余計なもの(FP)がどれだけ混ざっていないか」を表す。
Recall は「呼び戻す・思い出す」の意味。
「データが陽性であるもの」のうち、何割を呼び戻せた/思い出せたか。取りこぼし(FN)が多いほど下がる。
日本語: 適合率 vs 再現率
適合率 は情報検索の概念で、モデルの結果がユーザの検索要求に「適合」しているか。
転じてモデルの陽性と言った結果の中でどれくらい実データも陽性かを表す。
再現率 はRecallとほとんど同じ説明になるが、「データが陽性であるもの」のうち、何割を再現できたか。
最後に
随時追記予定です。
記事内に誤りがあったり、こう考えたほうが適切では、という部分があれば教えて下さい!!