この記事は、書籍『Kaggleではじめる大規模言語モデル入門』の輪読会で学んだテーマを、自分の言葉で整理・深掘りしたものです。
はじめに
前回の記事では分類タスクの評価指標を整理しました。今回はその続きとして、
- 回帰 ：MSE / MAE / RMSE / RMSLE / 相関係数 / QWK
- 生成 ：BLEU / ROUGE
- 検索・推薦 ：Recall@K / MAP@K
- そして「 損失関数と評価指標はなぜ一致しないのか 」
を扱います。NLP のタスクは、突き詰めると分類・回帰・生成・検索/推薦のいずれか（またはその組み合わせ）に帰着することが多く、「このタスクはどれに当たるか？」→「ならば評価指標はこれ」という思考の型を持っておくと、コンペでも実務でも見通しが良くなります。
回帰タスクの評価指標
回帰は連続値を予測するタスクです。分類が「どのラベルか」を当てるのに対し、回帰は「どれくらいか」を当てます。NLP での例を挙げると、
- レビュー文から評価スコア（★1〜5）を予測する
- 記事のタイトルから PV 数を予測する
- 作文から採点スコアを予測する（自動採点）
などがあります。評価指標はどれも「予測値 $\hat{y}_i$ と真の値 $y_i$ のズレの測り方」の違いです。
MSE / MAE / RMSE
\mathrm{MSE} = \frac{1}{n}\sum_{i=1}^{n}\bigl(y_i-\hat{y}_i\bigr)^2, \qquad \mathrm{MAE} = \frac{1}{n}\sum_{i=1}^{n}\bigl|y_i-\hat{y}_i\bigr|, \qquad \mathrm{RMSE} = \sqrt{\mathrm{MSE}}
- MSE（平均二乗誤差） ：誤差を2乗するため、 大きな外れに敏感 。外れ値が1つあるだけで値が跳ね上がる
- MAE（平均絶対誤差） ：誤差を等しく扱うため、 外れ値にロバスト
- RMSE ：MSE の平方根をとることで、 目的変数と同じ単位 で解釈できる（「平均して±3点くらいズレる」のような読み方ができる）
誤差 $e$ に対するペナルティの形を比べると、二乗誤差（青）は誤差が大きい領域で急激に立ち上がるのに対し、絶対誤差（オレンジ）は直線的に増えるだけです。
MSE が外れ値に敏感で、MAE がロバストである理由はこの形の違いにあります。
MSE 最小化は平均値の予測、MAE 最小化は中央値の予測に対応する、という性質も覚えておくと使い分けの指針になります。
RMSLE：相対誤差を見る
\mathrm{RMSLE} = \sqrt{\frac{1}{n}\sum_{i=1}^{n}\bigl(\log(1+y_i)-\log(1+\hat{y}_i)\bigr)^2}
対数をとってから RMSE を計算する指標で、 比率（相対誤差）を重視 します。
PV 数の予測のように値のスケールが桁で変わるタスクでは、「100万PVの記事で10万ズレる」より「100PVの記事で10万ズレる」ほうを重く罰したい。
RMSLE はそれを指標に反映できます。
PCC：相関の強さを見る
\mathrm{PCC} = \frac{\sum_{i=1}^{n}(y_i-\bar{y})(\hat{y}_i-\bar{\hat{y}})} {\sqrt{\sum_{i=1}^{n}(y_i-\bar{y})^2}\sqrt{\sum_{i=1}^{n}(\hat{y}_i-\bar{\hat{y}})^2}}
ピアソンの積率相関係数は、予測値と真値の 線形な相関の強さ を測ります。
誤差の絶対量ではなく傾向の一致を見るため、AUC と同様に予測値のスケールに鈍感で、アンサンブルしやすい指標です。
QWK：順序のある離散値の指標
★1〜5 の採点のように 順序のある離散値 の予測は、分類とも回帰とも捉えられます。
ここで使われるのが QWK（Quadratic Weighted Kappa、二次重み付きカッパ係数） です。
ポイントは「★1を★5と間違える」のは「★1を★2と間違える」より重い、という ズレの大きさを2乗で重み付け して一致度を測ることです。
値はおおむね $-1$〜$1$ の範囲をとり、1 で完全一致、0 で偶然の一致と同程度を意味します。
エッセイ自動採点系のコンペで頻出の指標です。
生成タスクの評価指標
生成タスクは、最終的な出力が テキスト であるタスクです。入力は何でもありえます。
| 入力 | 出力 | タスク例 |
|---|---|---|
| テキスト | テキスト | 機械翻訳、要約、質問応答 |
| 音声 | テキスト | 音声認識、議事録作成 |
| 画像 | テキスト | 画像キャプション生成 |
| 表データ | テキスト | 分析レポートの自動生成 |
正解が一意か、複数か
生成タスクの評価を考えるとき、最初に確認すべきは「正解がほぼ一意に定まるか」です。
| タイプ | 例 | 評価 |
|---|---|---|
| 正解がほぼ一意 | 音声認識、OCR、数式の書き起こし | 正解文字列との一致度で機械的に評価できる |
| 正解が複数存在 | 翻訳、要約、対話、文章生成 | 評価指標の設計自体が難しい |
「良い要約」や「自然な翻訳」は何通りも存在するため、単純な文字列一致では評価できません。
生成 AI の評価が今も学術的にホットな課題であり続けているのは、この「正解の多様性」が根本原因です。
BLEU と ROUGE：n-gram の重なりで測る
古典的かつ今も広く使われるのが、参照文（人手で用意した正解例）と生成文の n-gram の重なり で測る指標です。
| 指標 | 主な用途 | ベースの考え方 |
|---|---|---|
| BLEU | 機械翻訳 | n-gram の 適合率 （生成文の n-gram のうち参照文にも出る割合）＋短すぎる出力へのペナルティ |
| ROUGE | 要約 | n-gram の 再現率 （参照文の n-gram のうち生成文がカバーする割合） |
なぜ翻訳は適合率で、要約は再現率なのかは、それぞれで起こりやすい失敗を考えると理解しやすくなります。
- 翻訳の典型的な失敗は「余計なことを言う・でたらめを混ぜる」→ 生成文側の正確さ（適合率）を見たい
- 要約の典型的な失敗は「重要な情報を落とす」→ 参照文側のカバー率（再現率）を見たい
簡単な例で確認します。参照文と生成文を単語分割したとします。
参照文: 猫 が ソファ で 寝て いる
生成文: 猫 が ソファ で 眠って いる
1-gram で見ると、生成文の6語のうち5語（猫/が/ソファ/で/いる）が参照文に含まれるので適合率は 5/6。参照文の6語のうち5語がカバーされているので再現率も 5/6 です。
しかし「寝て」と「眠って」は意味がほぼ同じにもかかわらず不一致扱いです。
これが表層一致指標の限界で、
- 言い換えに弱い （同義語を別物として数える）
- 語順の入れ替えに弱い （n を大きくすると特に）
- 意味が合っていてもスコアが低く出ることがある
という弱点につながります。
近年は埋め込みベースの BERTScore や、LLM に評価させる LLM-as-a-Judge など、意味レベルの評価手法も広く使われるようになっています。
検索・推薦タスクの評価指標
検索・推薦は、大量の候補から 関連するもの・好みに合うものを上位に並べる タスクです。
- 検索 ：クエリに関連する文書を順位付けする（検索エンジン）
- 推薦 ：ユーザーに合いそうなアイテムを提示する（EC サイトのレコメンド）
LLM の文脈では、 RAG（検索拡張生成）の検索部分 がまさにこのタスクであり、重要度が一気に上がりました。
ユーザーが実際に見るのは上位数件〜数十件だけなので、 上位 K 件の品質を評価する指標 を使います。
Recall@K
\mathrm{Recall@K}=\frac{\bigl|\text{正解アイテム}\cap \text{上位 } K \text{件}\bigr|}{\bigl|\text{正解アイテム}\bigr|}
上位 K 件の中に、正解アイテム全体のうちどれだけが含まれているかを測ります。
K 件以内に入ってさえいれば順位は問わない のが特徴です。
RAG では「後段の LLM が候補の中から必要な情報を選んでくれる」ため、まず Recall@K を確保することが最優先になります。
MAP@K
順位まで評価したいときに使うのが MAP@K（Mean Average Precision at K） です。
1つのクエリに対する AP（Average Precision）を計算し、全クエリで平均します。
AP は「正解を引き当てた各順位における Precision の平均」です。
例として、K=5 の検索結果のうち 1位・3位・4位が正解（正解は全部で3件）だったとします。
| 順位 | 正解? | その時点の Precision |
|---|---|---|
| 1 | ○ | 1/1 = 1.00 |
| 2 | × | ― |
| 3 | ○ | 2/3 ≈ 0.67 |
| 4 | ○ | 3/4 = 0.75 |
| 5 | × | ― |
\mathrm{AP@5} = \frac{1}{3}\left(\frac{1}{1} + \frac{2}{3} + \frac{3}{4}\right) \approx 0.81
同じ3件の正解でも、順位が 3・4・5位に沈むと AP は $\frac{1}{3}(1/3 + 2/4 + 3/5) \approx 0.48$ まで下がります。
同じものを当てていても、上位に並べたほうが高く評価される ──これが MAP の本質です。
人間が直接結果を見る検索・推薦では、Recall@K より MAP@K のほうが体験に即した指標になります。
損失関数 ≠ 評価指標
最後に、すべてのタスクに共通する重要な論点を扱います。
学習時に最小化する関数（損失関数）と、良し悪しを測る評価指標は、必ずしも一致しません 。
- 損失関数 ：勾配降下法で学習するため、 微分可能 でなければならない
- 評価指標 ：人間が見たい「良さ」を表せばよく、微分不可能でも閾値依存でも構わない
たとえば F1 は「閾値でラベルに変換 → 混同行列を集計」という離散的な操作を含むため微分できません。AUC も順序に基づく指標なので同様です。
そこで実務では次の構図をとります。
学習（最適化） 評価（採点）
交差エントロピーを最小化 → F1 / AUC / MAP@K で採点
（微分可能な代理損失） （本当に見たい指標）
代理の損失で学習したモデルの出力を、 閾値調整や後処理で評価指標に寄せる のが定石です。
たとえば
- マクロ F1 が指標なら、クラスごとに予測確率の閾値を検証データで最適化する
- QWK が指標なら、回帰で学習してから区切り位置（★1と★2の境界など）を最適化する
「与えられた評価指標に対して、損失関数と後処理をどう設計するか」は Kaggle 的な工夫のしどころであり、同時に実務でも効く汎用スキルです。
まとめ
- 回帰指標は「ズレの測り方」の違い。外れ値に敏感な MSE、ロバストな MAE、単位が解釈しやすい RMSE、相対誤差の RMSLE、順序付き離散値の QWK
- 生成タスクは「正解が一意か複数か」で難易度が激変する。BLEU（翻訳・適合率）/ ROUGE（要約・再現率）は手軽だが言い換えに弱い
- 検索・推薦は上位 K 件を評価する。含まれていればよい Recall@K、順位まで見る MAP@K。RAG の検索品質評価にも直結
- 損失関数は微分可能な「代理」であり、評価指標とは別物。閾値調整・後処理で評価指標に寄せる
次回はテーマを変えて、テキストを数値ベクトルに変換する伝統的手法（BoW から word2vec まで）の進化を追います。
参考
シリーズの他の記事