@daikikatsuragawa

Are you sure you want to delete the question?

Leaving a resolved question undeleted may help others!

二値分類における評価値(特にF値やAUC)の一般的な評価基準を教えてください🙇‍♂️

解決したいこと

二値分類における評価値(特にF値やAUC)の一般的な評価基準を知りたいです。本来はドメインに合わせてだったり、既存手法と比較することで評価値の評価ができると思います。ただ、そのようなドメインに関わらず、比較対象もない場合の、一般的に考えられている二値分類における評価値の評価基準(どこまでが悪くて、どこまでがまあまあで、どこからが良いかなど)を知りたく思います。具体的には、例えば、AutoML目線で、ドメインのことを知らなくても、「この結果はどうだ」など言えるような、そのための基準として一般的なものを知りたいです。個人的には今のところ、例えばAUCは0.6以上ないと厳しく、0.8以上あるとある程度信頼できるなどという肌感を持っています。もし可能であれば、リファレンスもあるとありがたいです。

以上、よろしくお願いいたします🙇‍♂️

0 likes

1Answer

(突き放すような言い方で恐縮ですが)ありません。むしろ、目的や要求に合わせてその基準を適切に設定することが、重要な作業のひとつです。

ちなみに、以下のような記事を見つけましたが、著者の経験的なものであり、一般的ではないと思います。

機械学習の評価指標 – ROC曲線とAUC | GMOアドパートナーズ TECH BLOG byGMO

AUC 効果の評価
0.8以上 効果がすごくいい
0.7-0.8 効果があります
0.6-0.7 効果が多少あります
0.5-0.6 効果がありません

※私が「一般的でない」と言うのは、例えば機械学習のビジネス導入において、AUCが0.8でも使い物にならない場合もあれば、AUCが0.6でも役に立つケースも有り得て、本当にケースバイケースだということです。もっと言うと、そもそもAUC(あるいはF値)での評価そのものが不適切であるケースもままあります。

1Like

Comments

  1. @mamo3gr
    こちらに引き続き、ありがとうございます🙏

    https://qiita.com/daikikatsuragawa/questions/6589583060935e409e27

    > (突き放すような言い方で恐縮ですが)ありません。
    「ないであろう」ということ自体がなかなか調べてもわからなかった、もしかしたらあるのかもしれないと思い、やめられなかったので、他者の意見をいただけて本当にありがたく思います。改めて、本当におっしゃる通りだと思っています。適合率が大事、再現率が大事も課題によって違いますしね🤔

    その上でなのですが、自分が求めているのも完全な主観でさえなければ良いのかとも思い、「自分の経験+頂いたリンクのようなもの×少し」によって自分の言いたいことは言えるのかと思いました。

    ありがとうございます!

Your answer might help someone💌