AI-102試験対策のまとめ「Azure AI TranslatorにおけるBLEUスコア」

はじめに

Azure AI Engineer Associate(AI-102)取得に向けた勉強でまとめた内容を本記事では投稿しています。
試験範囲の内容を私が勉強していく中で、
・忘れてしまっていた内容
・他の知識と絡めて理解した方が良い内容
・Microsoft Learnの読解に苦戦した内容
などをできるだけ分かりやすく簡潔にまとめることを意識しています。
Azureの勉強を一から始め、AI-102取得を目指している方の参考になれば幸いです。
※本記事の内容が必ず試験に出るわけではないこと、ご注意ください
※勉強しながら投稿しているため、追加で学んだことがあれば随時投稿内容を更新します。

試験対策のまとめ

Azure AI TranslatorにおけるBLEUスコア

BLEU(Bilingual Evaluation Understudy)

• ある自然言語から別の自然言語に機械翻訳されたテキストの精度/正確性を評価するためのアルゴリズム
  ⇒同じ原文における自動翻訳と人による参考翻訳との違いを評価
• 下記を比較し、一致数がカウントされ、重み付けされた形式で表示される
  • 自動翻訳の連続するフレーズ
  • 参考翻訳に含まれる連続するフレーズ
• カスタム翻訳ツールでは、翻訳精度を確認する1つの方法としてBLEUメトリックを使用

BLEUスコア

• 0～100の数値
  • 0の場合：リファレンスとまったく一致しない低品質の翻訳
  • 100の場合：リファレンスと完全に一致する完全な翻訳
  • 40～60の範囲：高品質の翻訳
• 狭いドメインに対してモデルがトレーニングされ、トレーニングデータとテストデータとの一貫性がある場合
  ⇒BLEUスコアが高くなることが予想される

• 参考
  • https://learn.microsoft.com/ja-jp/azure/ai-services/translator/custom-translator/concepts/bleu-score
  • https://learn.microsoft.com/ja-jp/azure/ai-services/translator/custom-translator/how-to/test-your-model

次の試験対策のまとめ

• AI-102試験対策のまとめ「Azure AI Faceサービスの各機能とAPI」

学習内容をまとめたページの一覧