「新しいモデルは大きくなったから、すべての仕事で前より優秀なはず」

そう考えたくなりますが、AIの性能は単純な右肩上がりとは限りません。

モデルの規模だけでなく、学習をどこまで続けたか、どのデータを使ったか、何を基準に測ったかによって、性能の見え方は変わります。

本記事は「AIの取扱説明書」シリーズの第2章です。今回は、AIの性能を読み解くうえで知っておきたい次の5つの現象を、日常的なたとえと研究上の背景を交えて紹介します。

Emergent Abilities（創発的能力）
Grokking（訓練中に汎化が遅れて現れる現象）
Inverse Scaling（逆スケーリング）
Model Collapse（モデル崩壊）
Data Contamination（データ汚染）

第1章では、AIの流暢さと正しさは別であることを扱いました。

【AIの取扱説明書第1章】AIは流暢に間違える

1. 成績が突然伸びたように見える ― Emergent Abilities

59点と61点の間に、本当に大きな飛躍はあるか

Emergent Abilities（創発的能力）とは、小さいモデルではほとんど見られなかった能力が、規模を大きくしたときに突然現れたように見える現象です。

たとえば、合格点が60点の試験を考えてみます。

59点：不合格
61点：合格

点数の差は2点しかありません。しかし、結果を「合格／不合格」だけで表すと、能力が突然現れたように見えます。

Weiらは、大規模言語モデルで、ある規模を超えたときに急に成績が向上するように見える複数の課題を整理しました。一方、Schaefferらは、正解か不正解かを離散的に判定する指標が、見かけ上の急変を作る場合があると指摘しました。連続的な指標で測ると、性能が滑らかに伸びている場合があるということです。

ここで重要なのは、「創発的能力は存在しない」と断定することではありません。観測された飛躍がモデル自体の急変なのか、測定方法が作った境界なのかを区別する必要があるということです。

実務での見方

ベンチマークの結果を見るときは、合格率や正解率だけでなく、次の点も確認します。

評価は二択か、部分点を認める方式か
どのモデル系列を比較しているか
同じプロンプト、生成設定、データで比較しているか
スコア差が実務上も意味のある差か

単一の数字だけで「突然賢くなった」と判断せず、評価方法まで確認することが大切です。

2. 応用力が遅れて伸びることがある ― Grokking

練習曲は弾けるのに、初めての曲ではつまずく

Grokkingは、訓練データを覚えた後も学習を続けることで、未見の問題に対する正解率が遅れて大きく伸びる現象です。

楽器の練習で考えると、決まったフレーズは早い段階で弾けるようになっても、初めて見る曲では長くつまずくことがあります。それでも練習を続けるうちに、ある時点から応用が利くようになる――そのようなイメージです。

Powerらは、小規模なアルゴリズム課題で、訓練データへの適合が進んだ後、かなり遅れて汎化性能が向上する現象を報告しました。

ただし、この研究から「あらゆるAIは長く学習させれば、突然本質を理解する」とは言えません。元の研究は、小規模に生成した計算課題と特定の訓練条件を対象にしています。

実務での見方

Grokkingは、モデルの大きさではなく、主に学習の進み方に関する話です。

訓練データでの成績だけでは、応用力を判断できない
途中の評価だけで、最終的な汎化性能を予測しにくい場合がある
未見データを分けて評価する必要がある

これは危険な兆候ではなく、汎化が成功する現象です。ただし、性能の伸び方が常に滑らかで予測しやすいとは限らないことを示しています。

3. 規模を増やしても成績が下がる課題がある ― Inverse Scaling

大きいモデルほど、いつでも優秀とは限らない

一般には、モデル、学習データ、計算量を増やすと、多くの課題で性能が向上します。しかし、一部の課題では、規模を大きくするにつれて成績が下がる現象が報告されています。これがInverse Scaling（逆スケーリング）です。

背景として、次のような要因が挙げられています。

学習データ中の望ましくないパターンを、より上手に模倣してしまう
覚えた文章の続きを、入力された指示より優先してしまう
本来の課題より、簡単な「近道の課題」に引き寄せられる
例として示された文章が、意図しない判断材料になる

ただし、「大きなモデルほど悪い」という結論でもありません。Weiらが11課題をさらに大きなモデルまで広げて調べたところ、6課題では、一度悪化した後に再び改善するU字型の変化が観察されました。

実務での見方

新しい大規模モデルへ切り替える際は、総合ランキングだけで判断せず、自分たちの用途で再評価します。

実際に使う入力例を評価セットにする
正常系だけでなく、紛らわしい入力や例外も試す
モデル変更時に以前の重要テストを再実行する
一部の課題の悪化を、平均スコアで見落とさない

教訓は、「大きいほど悪い」ではなく、過去の傾向をそのまま次世代モデルへ外挿すると、予測を誤る場合があるということです。

4. 「コピーのコピー」で品質が落ちることがある ― Model Collapse

元の原稿を捨てて、複製だけを繰り返す

AIが生成したデータで次のAIを訓練し、そのAIの生成物でさらに次のAIを訓練する。このような再帰的な学習を繰り返すと、条件によってはデータの多様性や品質が失われることがあります。Model Collapse（モデル崩壊）と呼ばれる現象です。

元の原稿を残さず、コピーした紙だけを次のコピーに使い続けると、文字や画像が少しずつ崩れていくようなイメージです。頻度の低い表現や珍しい情報が先に失われ、世代を重ねるほど分布が狭くなる場合があります。

Shumailovらは、前世代の生成データへ置き換えながら訓練を繰り返す条件で、モデルが劣化することを示しました。一方、Gerstgrasserらは、元の実データを保持し、各世代の生成データを蓄積して学習する方式では、調べた条件下で崩壊を回避できると報告しています。

つまり、「合成データを使うと必ず崩壊する」という話ではありません。元データを残すか、生成データをどう選び、どの割合で混ぜるかによって結果は変わります。

実務での見方

追加学習用のデータを作る場合は、次の点を記録します。

人が作成したデータとAI生成データの区別
生成に使ったモデルと設定
元データを保持しているか
重複、誤り、偏りを除く品質確認の方法
データ構成を変えた後の評価結果

生成データは有用ですが、由来の分からないデータを繰り返し再利用することには注意が必要です。

5. 試験問題が学習データに混ざっていた ― Data Contamination

初めて解いたのではなく、答えを覚えていただけかもしれない

Data Contamination（データ汚染）とは、評価に使う問題や類似データが学習データへ混入し、測定結果が実力より高く見える問題です。

過去に解いた問題集を、そうとは知らされずにもう一度試験として渡された受験者を想像してください。高得点でも、初めて見る問題を解く力ではなく、答えを覚えていた結果かもしれません。

Sainzらは、特に深刻なケースとして、ベンチマークのテストデータそのものが学習に使われたモデルを、同じベンチマークで評価する状況を挙げています。汚染は性能を過大評価し、研究上の結論を誤らせる可能性があります。

ただし、学習データの全容が公開されていないモデルも多く、どの問題がどの経路で混入したかを完全に測るのは困難です。意図的な不正だけでなく、Web上の大量データを収集・再利用する過程でも起こり得ます。

実務での見方

公開ベンチマークの順位だけでモデルを選ばない
自社・自分の業務から、未公開の評価問題を用意する
問題文を少し変え、丸暗記だけでは解けない形でも試す
評価データの作成日と、モデルの学習時期を確認する
同じ問題を長期間使い回さず、定期的に更新する

大切なのは、スコアを否定することではなく、そのスコアが未知の問題を解く力を測れているかを考えることです。

5つの現象に共通すること

現象	性能の見え方を変えるもの	確認したいこと
Emergent Abilities	評価指標の境界	二択評価か、連続評価か
Grokking	学習を続けた時間と条件	未見データで汎化しているか
Inverse Scaling	規模と課題の組み合わせ	自分の用途でも改善しているか
Model Collapse	学習データの世代と混ぜ方	元データと多様性を保持しているか
Data Contamination	学習データと試験問題の重複	本当に未知の問題で測っているか

共通する教訓は、モデル名や総合スコアだけでは、実際の性能を判断できないということです。

まとめ

AIの性能を評価するときは、次の5点を意識します。

急な性能向上が、評価方法による見かけではないか
訓練データへの適合と、未知の問題への応用力を分けているか
大規模化によって、一部の重要な課題が悪化していないか
AI生成データの由来と混ぜ方を管理しているか
評価問題が学習データへ混入していないか

新しいAIが登場したときに見るべきなのは、「前より大きいか」だけではありません。

何を学び、どの条件で試し、どの物差しで測った結果なのか。

そこまで確認することで、公開されたスコアと、自分たちの仕事で必要な性能を区別しやすくなります。

次回は「安全対策と評価には限界がある」を扱います。Reward Hacking、Jailbreak、Prompt Injection、Sleeper Agents、Sandbaggingを通して、安全そうに見えることと、あらゆる条件で安全であることは別だという点を解説します。

参考文献

Wei, J. et al., "Emergent Abilities of Large Language Models", Transactions on Machine Learning Research, 2022.
Schaeffer, R. et al., "Are Emergent Abilities of Large Language Models a Mirage?", NeurIPS 2023.
Power, A. et al., "Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets", arXiv:2201.02177, 2022.
McKenzie, I. et al., "Inverse Scaling: When Bigger Isn't Better", Transactions on Machine Learning Research, 2023.
Wei, J. et al., "Inverse Scaling Can Become U-Shaped", EMNLP 2023.
Shumailov, I. et al., "AI models collapse when trained on recursively generated data", Nature 631, 755–759, 2024.
Gerstgrasser, M. et al., "Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data", arXiv:2404.01413, 2024.
Sainz, O. et al., "NLP Evaluation in Trouble: On the Need to Measure LLM Data Contamination for Each Benchmark", Findings of EMNLP 2023, pp. 10776–10787.

本記事は、一般向け資料「AIの取扱説明書」の内容をQiita向けに再構成したものです。研究で観察された現象が、すべてのモデル、製品、学習条件で同じように起きるとは限りません。モデルの性能は、規模だけでなく、データ、学習方法、入力、生成設定、評価方法などによって変わります。