GLUEとは
General Language Understanding Evaluation（一般言語理解評価）
BERTなどの言語モデルの「言語理解力」を測る9種類のテストを集めたベンチマーク。
9タスクを3カテゴリに分類
┌─────────────────────────────────────────────────────────┐
│ │
│ 【単一文タスク】(1つの文を評価) │
│ CoLA ─ 文法的に正しいか？ │
│ SST-2 ─ ポジティブ/ネガティブか？ │
│ │
│ 【類似・言い換えタスク】(2つの文が似ているか) │
│ MRPC ─ 言い換えか？（ニュース文） │
│ STS-B ─ どれくらい似ているか？（類似度スコア） │
│ QQP ─ 同じ質問か？（Quora） │
│ │
│ 【推論タスク】(2つの文の関係を推論) │
│ MNLI ─ 含意/矛盾/中立？（大規模NLI） │
│ QNLI ─ 質問の答えを含むか？ │
│ RTE ─ 含意しているか？ │
│ WNLI ─ 代名詞は誰を指す？（Winograd） │
│ │
└─────────────────────────────────────────────────────────┘
9タスク早見表
| 略称 | 正式名 | タスク内容 | 一言で |
|---|---|---|---|
| CoLA | Corpus of Linguistic Acceptability | 文法的に正しいか | 文法警察 |
| SST-2 | Stanford Sentiment Treebank | 感情分析（映画レビュー） | 映画の感想 |
| MRPC | Microsoft Research Paraphrase Corpus | 言い換えか判定 | 同じこと言ってる？ |
| STS-B | Semantic Textual Similarity Benchmark | 類似度スコア（1〜5） | 似てる度 |
| QQP | Quora Question Pairs | 同じ質問か判定 | Quoraで重複？ |
| MNLI | Multi-Genre NLI | 含意/矛盾/中立の3分類 | NLIの親玉 |
| QNLI | Question NLI | 質問の答えを含むか | 答え入ってる？ |
| RTE | Recognizing Textual Entailment | 含意しているか | 言えてる？ |
| WNLI | Winograd NLI | 代名詞の指示対象 | 誰のこと？ |
語呂合わせで暗記
9タスクの頭文字
「コッ・スス・マスク・ムク・ルウ」
コッ → CoLA
スス → SST-2, STS-B
マスク → MRPC, QQP（マスクのQQQ...的な）
ムク → MNLI, QNLI
ルウ → RTE, WNLI
もう一つの覚え方：ストーリー仕立て
「コーラ飲んでSST（そうそうと）映画見て、マイクロソフトでQ連発、MとQがNLIで、RとWでウィノグラード」
コーラ飲んで → CoLA
SST映画見て → SST-2
マイクロソフトで → MRPC
Q連発 → QQP
MとQがNLI → MNLI, QNLI
RとWでウィノ → RTE, WNLI
カテゴリ別の覚え方
【単一文】「コスプレ」
CoLA（コ）+ SST-2（ス） = コス → コスプレ（1人で完結）
【類似】「MとSとQ」
MRPC, STS-B, QQP → 「エムとエスとキュー」（2文の類似）
【推論】「MQ・RW」
MNLI, QNLI, RTE, WNLI → 「エムキュー・アールダブリュー」
各タスクのイメージ図
【CoLA】文法チェック
"The cat the dog chased meowed." → 文法的にOK？NG？
【SST-2】感情分析
"This movie was absolutely amazing!" → ポジティブ/ネガティブ
【MRPC】言い換え判定
文A: "The company announced a merger."
文B: "A merger was announced by the company."
→ 同じ意味？
【STS-B】類似度スコア
文A: "A cat is sleeping."
文B: "A dog is running."
→ 類似度：1.2 / 5.0
【QQP】同じ質問か
Q1: "How do I learn Python?"
Q2: "What's the best way to learn Python?"
→ 同じ質問？
【MNLI】含意・矛盾・中立
前提: "A man is playing guitar."
仮説: "Someone is making music."
→ 含意 / 矛盾 / 中立？
【QNLI】答えを含むか
質問: "When was the Eiffel Tower built?"
文: "The Eiffel Tower was completed in 1889."
→ 答えを含む？
【RTE】含意判定
文A: "The volcano erupted last night."
文B: "There was a natural disaster."
→ AはBを含意する？
【WNLI】代名詞解決
"The trophy doesn't fit in the suitcase because it is too big."
→ "it" = trophy? suitcase?
最終暗記カード
┌─────────────────────────────────────────────────────────┐
│ │
│ 【GLUE 9タスク暗記】 │
│ │
│ 単一文（2）：CoLA（文法）、SST-2（感情） │
│ 類似（3）：MRPC、STS-B、QQP（言い換え系） │
│ 推論（4）：MNLI、QNLI、RTE、WNLI（NLI系） │
│ │
│ 語呂：「コーラSSTで映画見て、MSQで似てる判定、 │
│ MQRWで推論だ」 │
│ │
│ ※ 2 + 3 + 4 = 9タスク │
│ │
└─────────────────────────────────────────────────────────┘
おまけ：なぜGLUE？
GLUEは「接着剤（のり）」の意味。様々なNLPタスクを「くっつけて」評価するベンチマークだから。
BERTがGLUEで高得点を出して以来、言語モデルの性能比較の定番になった。今はより難しいSuperGLUEもある。
1分で理解シリーズ、お役に立てたらフォローお願いします！