Why not login to Qiita and try out its useful features?

We'll deliver articles that match you.

You can read useful information later.

48
33

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

Hakusan mafiaAdvent Calendar 2017

Day 20

自然言語処理における評価法のまとめ

Last updated at Posted at 2017-12-20

はじめに

自然言語処理においては、「翻訳」「要約」「対話」「質問応答」など様々な難しいタスクが存在しています。どのタスクにも共通して問題になってくるのが、生成した解答の評価方法についてです。

例えば、翻訳タスクで「猫がマットの上にいます」を英語に訳す際、「The cat is on the mat」も「There is a cat on the mat」も同様に上手く訳しているように思えますが、これらを上手く評価することは簡単ではなさそうです。

そのため、自然言語処理では生成した文章に対して様々な評価方法が考案されており、以下にそれらを紹介していきます。

BLEU

言わずと知れたBilingual Evaluation Understudy (BLUEではないことに注意)
BLEU: a Method for Automatic Evaluation of Machine Translation

翻訳タスクでよく使われる評価方法です。人間が翻訳した文章に似ていれば似ているほど、機械が生成した文は正しそうだという前提に基づいています。
$ BLEU = e^{(1-r/c)} exp(\sum^{N}_{n=1}w_{n}logp_{n} )$

まず、BLEUスコアの式は以上のようになっています。ここで
$ r $ は人間が翻訳した文の長さ
$ c $ は機械が翻訳した文の長さ
$ w_{n} $は適当な重み
$ p_{n} $はmodified n-gram precisionsです

以下では、機械生成文をCandidate、人間が生成した文をReferenceと呼んでいます

modified n-gram precision

まず単なるprecisionでは、生成文の良さを上手く評価できないことはすぐにわかります。例えば、
Candidate: the the the the the the the
に対して
Reference: The cat is on the mat
の場合、Candidateの全単語(theのみですが)は、全てReferenceに含まれているのでprecisionは$ 7/7 = 1 $です。しかし、Candidateが明らかに正しい翻訳文でないのは直感的にわかります。
そこでこのmodified n-gram precisionが本論文で提案されています。この手法は単純で、precisionを計算するときにReference中の単語は一回使うともう使えないという制約を加えているのみです。先ほどの例だと、Referenceのtheは一度使われるともう無いものと見なされるのでmodified precisionは$ 1/7 $になります。これをn-gramに対して行います。

brevity penalty

しかし、modified n-gram precisionだけでは評価方法として十分ではありません。そこで、precisionに対するrecallのような概念を取り入れます。ReferenceよりCandidateのほうが長いパターンのときはすでにmodified precisionでペナルティが課されるのでここではそれは無視し、CandidateよりReferenceの方が長いパターンに対してペナルティを課します。それがBLEU式の$ e^{(1-r/c)} $です。これをペナルティとしていれておくことで、Candidateが単に短いためにmodified precisionが高くなり、BLEUが高くなるというのを防いでいます。

RE score

作成中です…

参考文献

BLEU: a Method for Automatic Evaluation of Machine Translation http://delivery.acm.org/10.1145/1080000/1073135/p311-papineni.pdf?ip=60.71.111.57&id=1073135&acc=OPEN&key=4D4702B0C3E38B35%2E4D4702B0C3E38B35%2E4D4702B0C3E38B35%2E6D218144511F3437&CFID=842433085&CFTOKEN=70833176&__acm__=1513773224_878c065403b6588eedd7ba928001a76a

48
33
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up

Comments

No comments

Let's comment your feelings that are more than good

Qiita Advent Calendar is held!

Qiita Advent Calendar is an article posting event where you post articles by filling a calendar 🎅

Some calendars come with gifts and some gifts are drawn from all calendars 👀

Please tie the article to your calendar and let's enjoy Christmas together!

48
33

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?