はじめに
これから紹介する３つのメトリクス、それは基盤モデルのパフォーマンスを評価するための代表的なものです。
それが 「ROUGE」「BLEU」「BERTScore」
私はこの３つのメトリクスを上手く差別化できないまま、演習問題でも同じようなミスをしてしまっていました。現在も「AIF」の学習中である私が間違えやすいポイントも含めて見ていきたいと思います。
まず全体像から
一言でまとめるなら
ROUGE = 「要約の評価」
BLEU = 「翻訳の評価」
BERTScore = 「テキスト生成タスクにおける忠実度や※ハルシネーション」を評価
ハルシネーション：直訳すると 「幻覚」。間違った出力をあたかも事実であるかのように生成してしまう現象
この3つは全部「生成文を正解文と比べる指標」ですが、何を重視して比べるかが違います。
ROUGE
「Recall-Oriented Understudy for Gisting Evaluation」
➡要約と翻訳の評価に使用されます。
➡正解要約に対して、生成要約がどれだけ重要語句を拾えているかを見やすい
➡参照文に含まれる重要な語句を、生成文がどれだけカバーできているか
BLEU
「Bilingual Evaluation Understudy」
➡主に機械翻訳で使われる
➡「どれだけ正解文と同じ言い回しを使っているか」を重視
BERTScore
➡テキスト生成タスク
➡単語が完全一致しなくても、意味が近ければ高くなりやすい
➡言い換えに強い
どの評価メトリクスについても、アプリ実装に組み込む場合は、CloudWatchメトリクスに送信して保存するとモニタリングしやすくなります
AWS AIF試験での区別のしかた
演習問題や本番の試験対策になるのではないかと簡単に纏めてみました。
①タスクで考える
・要約したい → ROUGE
・翻訳したい → BLEU
・意味の近さ、言い換え対応 → BERTScore
②何を比べたいかで考える
・文字列としてどれだけ一致したか → BLEU / ROUGE
・意味としてどれだけ近いか → BERTScore
最後に一言でまとめると
AWS AIF試験では、
「BLEUは翻訳」
「ROUGEは要約」
「BERTScoreは意味的類似度」
で切り分けるのが基本だと演習問題を通じて改めて感じました。
特に間違えやすいのは、
・BLEU/ROUGEは文字列一致寄りである
・BERTScoreは意味一致寄りであること
なんじゃないかと考えます。
最後までご覧いただきありがとうございます。
AIFを学習している方に、少しでも学びになれば幸いです。
日頃より活用している参考物です。
[AWS認定AIプラクティショナー（評価メトリクス164P~）]