はじめに
最近は生成AIという言葉をよく見かけるようになりました。実際に触れてみると、LLM（Large Language Model：大規模言語モデル） やSLM（Small Language Model：小規模言語モデル） といった言葉で説明されることも多く、「何が違うのか」「業務適用においてどちらを使えばいいのか」と迷う人も多いのではないでしょうか。
さらに、LLMには創発的能力という、「ある段階から急に賢くなったように見える性質」があると言われます。
また、プロンプトエンジニアリングと呼ばれる指示の工夫によって、驚くほど答えの質が変わることもあります。
なぜLLMは、指示を工夫すると良い働きをするのでしょうか。
そしてもうひとつ、機械学習の世界にはグロッキングという不思議な現象があります。
いったん過学習したように見えたモデルが、さらに学習を続けることで、あとから本質をつかんだように性能を伸ばす――まるで急に殻を破ったアスリートのようにも見える振る舞いです。
一見すると、これらはそれぞれ別の話に見えるかもしれません。ですが、アスリートに例えてみると、意外なほど共通点や違いが見えやすくなります。
本記事では、こうした少し難しく見えるテーマを、一流アスリートへの例えも交えながら、初心者向けにわかりやすく整理していきます。
LLMとSLMの違い、創発的能力とは何か、なぜプロンプトエンジニアリングが効果的なのか、そしてグロッキングとは何なのか。
生成AIの「なんとなくわかる」を、「なるほど、そういうことか」に変えることを目指します。
厳密には人間と生成AIはまったく別物です。ですが、「基礎を積み重ねる」「ある段階で急に見える世界が変わる」「指導の仕方でパフォーマンスが変わる」といった感覚は、アスリートの比喩を使うことで、かなり直感的に理解しやすくなります。
[1] 従来の機械学習モデル、SLM、LLMはどう違うのか
初心者向けにかなり大づかみに言うと、言語モデルの進化は次のような流れで捉えるとわかりやすいです。
- 従来の機械学習モデル：基本的に特定のタスクに強い
- SLM：文脈をある程度理解し、簡単な会話や文章処理ができる
- LLM：創発的能力がより強く表れ、幅広いタスクに柔軟に対応しやすい
ここからは、アスリートへの例えを交えながら、3つの違いを順番に見ていきます。
[1-1] 従来の機械学習モデルは「専門競技の選手」
従来の機械学習モデルは、基本的に特定のタスクのために作られる専用モデルです。
たとえば、画像分類のみ得意、異常検知のみ得意、情報抽出のみ得意、というように、役割がかなり明確です。これは、モデルが特定のタスクに特化して学習されているためです。
アスリートでたとえるなら、これはひとつの競技だけに特化した専門選手です。
100m走の選手は短距離ではとても速いですが、そのまま体操や柔道まで何でもこなせるわけではありません。
同じように、従来の機械学習モデルは特定の仕事には非常に強い一方で、仕事の種類をまたいで柔軟に振る舞うのは得意ではありません。
[1-2] SLMは「基礎力のある実力派選手」
SLM は、LLMより小規模な言語モデルです。
従来の機械学習モデルよりも言葉を柔らかく扱えるようになっていて、ある程度の文脈理解や、簡単な会話、要約、分類、定型的な文章生成などが可能です。
アスリートでたとえるなら、SLMは基礎力がついてきて、複数の基本練習や簡単な実戦には対応できる選手です。
以前より器用になり、単純な一種目専用ではなくなってきた。
ただし、まだトップレベルの試合で相手の癖を読んだり、その場その場で柔軟に戦術を切り替えたりするところまでは至っていない、というイメージです。
SLMは、一見すると何でもできそうに見えることがあります。
しかし、複雑な推論、長い文脈の理解、抽象的で曖昧な指示への対応になると、結果が不十分になりやすいことがあります。
そのため、SLMは軽量で速い代わりに、比較的シンプルで明確なタスクに向くモデルとして捉えるとわかりやすいです。
たとえば、次のような用途では、SLMが十分に実用的なことがあります。
- 簡単な情報抽出
- 簡単な分類
- 簡単な要約
- 定型文の生成
- 単純な会話応答
- 限定された業務フロー内での質問応答
[1-3] LLMは「総合力で戦うトップアスリート」
LLM は、より大規模な言語モデルです。
規模が大きくなることで、単に知識量が増えるだけではなく、さまざまなタスクにまたがって柔軟に対応しやすくなることが大きな特徴です。
アスリートでたとえるなら、LLMは基礎体力、経験、判断力、応用力が高いレベルで積み上がったトップアスリートです。
ただフォームがきれいなだけではなく、試合全体を読み、相手の癖を見抜き、状況に応じてプレーを変えられる。
そうした総合力の高さが、LLMのイメージに近いです。
LLMは、たとえば次のような多様なタスクを、ひとつのモデルでかなり柔軟に扱えるようになります。
- 複雑な要約
- 翻訳
- 文章生成
- 質問応答
- コード生成
- 推論
- 複雑な分類
もちろん、LLMも万能ではありません。
間違えることもありますし、得意不得意もあります。それでも、SLMより広い文脈を扱い、より複雑な指示に対応しやすい点が、LLMの大きな特徴です。
つまり、モデルの違いは「できることが増える」というだけでなく、どれくらい広い状況に対応できるか、どれくらい柔軟に振る舞えるかの違いとして見ると、理解しやすくなります。
SLMとLLMの境は何？
厳密に「モデルのパラメータ規模が何BillionからSLM、何BillionからLLM」と決まっているわけではありません。こうした区分は、各社の定義や有識者の説明によっても、その線引きはある程度異なります。
一般には、SLMは比較的小さく軽量で、特定用途に寄せて使いやすいモデル、LLMはより大規模で、幅広いタスクに柔軟に対応しやすいモデルとして語られることが多いです。
そのため初心者向けには、SLMは限定的なタスクに向きやすい軽量なモデル、LLMはより大規模で汎用性が高いモデルと捉えるとわかりやすいでしょう。
[2] 創発的能力って何？
LLMを語るうえで、よく出てくる言葉のひとつが創発的能力です。
これは簡単に言うと、モデルの規模や学習量が増えることで、それまではあまり見られなかった能力が、ある段階から急にはっきり現れるように見える現象です。
「少しずつ直線的に賢くなる」というよりも、ある水準を超えたあたりで、急にできることが増えるように見える。そんなイメージに近いです。
以下のグラフは、LLMの大規模化によって創発的能力が観測されたことについて分析した技術論文です。グラフを見ると、モデルの学習に使用した計算量が、おおむね$10^{22}$FLOPsを超える規模になると、複数のベンチマークにおいて性能が急激に向上していることがわかります。
出典：Emergent Abilities of Large Language Models
アスリートでたとえるなら、創発的能力は技術の熟達にたとえるとわかりやすいです。
たとえば野球選手は、最初は
- バットを振る
- ボールを見る
- 足を動かす
- 守備位置を覚える
といった基礎を、一つひとつ積み上げていきます。
最初のうちは、「少し打てるようになった」「少し守れるようになった」程度に見えるかもしれません。
しかし、あるレベルまで積み上がると、急に
- 配球の意図が読める
- 守備位置を見て打球方向を変えられる
- 試合の流れを読んで判断できる
といった、より高次のプレーができるようになります。
これは、新しい能力が突然追加されたというより、それまで別々に積み上がっていた基礎能力が、高いレベルで結びつくことで、新しい能力として見えるようになったと考えるとわかりやすいです。
LLMの創発的能力も、これに近いイメージです。
学習の積み重ねによって、要約、推論、抽象的な指示理解などが結びつき、ある段階からそれまで見えにくかった能力が急にはっきり表れることがあります。
[3] SLMとLLMの違いを創発的能力の観点で見る
SLMとLLMの違いは、単にモデルのサイズの違いだけではありません。
初心者向けに大まかに言えば、創発的能力がどの程度表れているかが、両者の違いを理解するうえでの大きなヒントになります。
SLMは、ある程度の文脈理解や簡単な会話には対応できます。
ただし、創発的能力がまだ大きく開花していないことも多く、複雑なタスクになると、それっぽく答えられてはいるものの、深さや柔軟さが足りないと感じることがあります。
一方でLLMは、規模の拡大によって創発的能力がよりはっきり現れやすくなり、
単なる会話を超えて、多様なタスクに対して柔軟に対応する力を持ちやすくなります。
アスリートでいえば、次のような違いに近いです。
- SLM：基礎はできていて、簡単な実戦にも対応できるが、まだ万能ではない選手
- LLM：基礎・経験・判断力が高いレベルで結びつき、試合全体に対応できるトップ選手
もちろん、上述の通り現実には境界がきれいに分かれているわけではありません。
最近は高性能なSLMも登場していますし、LLMでも苦手なことはあります。
補足：SLMで見られた“部分的には正しいが全体では矛盾する挙動”
とあるSLM（パラメータ規模7B）に、試験問題を解かせるベンチマーク検証をしていた際の経験を紹介します。
たとえば、試験問題でよくある
「次の文章について、理由を正しく説明しているものは1〜4のうちどれですか？」
といった問いに対する回答を評価しました。
このときモデルは、「回答に至るまでの説明」と「最終的な回答（選択肢）」をそれぞれ出力するのですが、説明と最終回答が矛盾してしまうことがありました。
たとえ最終的な選択肢が合っていたとしても、説明の内容が矛盾していれば、正解とはみなしにくいですね。
検証を進めていくと、部分的には正しいことを述べているのに、全体として読むと整合していないという挙動がよく見られることがわかりました。
これは、個々の要素には反応できていても、述べている内容全体を俯瞰して統合的に判断する力がまだ弱い、ということの表れだと考えられます。
こうした挙動からは、SLMが汎用的な問いにもある程度は対応できる一方で、まだ十分に創発的能力が開花しきっておらず、未熟な部分が残っていることが見えてきます。
言い換えると、「それなりに解ける」が「まだ万能ではない」 という状態です。
公開されている多様なベンチマークの結果を見ても、その傾向はある程度うかがえます。
知識を確認するような2択・4択問題では比較的高い正解率を示す一方で、与えられた文章を読解したうえで、該当する事実を2つ選ぶ、といった複数の情報を整理して総合的に判断する問いになると、正解率が大きく下がることが多いと言えそうです。
[4] なぜLLMはプロンプトを工夫すると良い働きをするのか？
LLMを使っていて面白いのは、指示の出し方を変えるだけで結果がかなり変わることです。
雑に頼むとうまくいかないのに、丁寧に条件を与えると、急に賢く見えることがあります。
これは、LLMが与えられた指示を機械的に処理するだけではなく、与えられた文脈から「何を求められているか」を推定しながら応答するモデルだからです。
つまり、プロンプトとは単なる命令文ではなく、LLMにとっての状況説明や作戦指示でもあります。
アスリートでたとえるなら、これはコーチングに近いです。
たとえば野球の打者に、ただ「打ってこい」と言うのと、
- 相手投手は外角低めが多い
- ランナー二塁なので進塁打でもよい
- 強振ではなくセンター返しを意識してほしい
と伝えるのとでは、選手のプレーはかなり変わります。
LLMも同じで、
- 何をしてほしいのか
- どの形式で答えるのか
- 何を重視するのか
- 何をしてはいけないのか
が明確になるほど、性能を引き出しやすくなります。
こうした特徴を踏まえると、プロンプトの工夫には、LLMの力を引き出すためのいくつかの王道パターンがあることがわかります。
[4-1] few-shot promptingとは？
プロンプトテクニックの代表例のひとつが、few-shot promptingです。
これは、AIにいきなり答えさせるのではなく、先に少数の見本を見せてから、同じ形式で答えさせる方法です。
アスリートでたとえるなら、few-shot prompting は、コーチが選手に対して、言葉だけでなくお手本を数本見せるようなものです。
たとえば新しい打撃練習を教えるときに、
- こういうフォームで
- こういうタイミングで
- こういう結果を目指す
というお手本を2〜3回示してから、「では同じようにやってみよう」と言うと、選手は意図をつかみやすくなります。
AIも同じで、入力例と出力例を少し見せるだけで、こういう形式で、こういう粒度で、こういう方向に答えてほしいという型を理解しやすくなります。
[4-2] chain-of-thoughtとは？
もうひとつの代表的なテクニックが、chain-of-thoughtです。
これは、いきなり最終回答だけを求めるのではなく、順を追って考えさせることで、複雑な問題の精度を上げる考え方です。
アスリートでたとえるなら、chain-of-thought は、一流アスリートが試合中に行っている頭の中の整理に近いです。
たとえば打者なら、
- 球種を読む
- コースを判断する
- スイングを決める
- 打球方向を調整する
という流れで処理しているはずです。
相撲でも、
- 間合いを見る
- 相手の重心を感じる
- 有利な形を作る
- 最後に勝負を決める
という段階的な判断があります。
LLMに対しても、いきなり答えだけを求めるより、まず要点整理をして、次に比較して、最後に結論を出すといった順番を与えることで、より安定した結果を得やすくなります。
[5] グロッキングとは？ 「覚えた」が「わかった」に変わる瞬間
もうひとつ、モデル学習の過程で見られる興味深い現象の一つが、グロッキングです。これは、OpenAIの研究者らによって報告された、過学習の後に汎化性能が急激に向上する現象です。
グロッキングを簡単に言うと、最初は訓練データにうまく合わせているだけだったモデルが、学習を続けるうちに、あとから本質的なルールをつかみ、急に汎化性能を伸ばすように見える現象と言えます。
普通に考えると、学習を続けすぎると過学習が起きて、未知のデータに弱くなりそうです。
ところが一部の条件下では、そのさらに先に、単なる丸暗記ではなく、ルールそのものをつかんだような振る舞いが見られることがあります。
アスリートでたとえるなら、これは反復練習を続けた選手が、ある日から急に型の意味そのものを理解したような動きを見せる状態に少し似ています。
たとえば一流アスリートは、単に動きを覚えているだけではなく、どんな状況でも基本に立ち返って適切に対応できます。
それは、表面的な反復を超えて、身体が本質をつかんでいる＝熟達しているからです。
グロッキングも、それに少し似ています。
最初は答えを覚えているだけに見えたモデルが、あとからルールを本当に理解したかのように振る舞う。
もちろん、人間とAIの仕組みが同じという意味ではありませんが、イメージとしては非常にわかりやすいと思います。
グロッキングの発生条件は？
グロッキングは、不思議な現象として広く知られるようになってきましたが、さまざまなモデルやタスクに共通する、統一的な発生条件が確立されているわけではありません。
一方で、いったんグロッキングしたモデルでは、そのときに獲得された汎化の仕組みが、別の場面でも役立つ可能性を示す研究も少しずつ出てきています。
ただし、このあたりはまだ統一的な結論が出ている段階ではなく、今後の研究が待たれるテーマです。
[6] まとめ
この記事では、生成AIの重要概念をアスリートにたとえながら整理してきました。
- 従来の機械学習モデル：特定の競技に特化した専門選手
- SLM：基礎ができていて、簡単な実戦に対応できる軽量な選手
- LLM：創発的能力が表れ、多様な状況に対応しやすいトップアスリート
- 創発的能力：基礎の積み重ねがある段階で結びつき、急に高次のプレーが見えるようになること
- few-shot prompting：お手本を見せて、型をつかませる指導
- chain-of-thought：順を追って考える、試合中の頭の整理
- グロッキング：反復の先で本質をつかんだように見える熟達
生成AIの世界には難しい言葉がたくさんありますが、
「基礎を積み上げる」「ある段階で急に見える世界が変わる」「指導次第で力を引き出せる」
といったアスリートの感覚になぞらえると、かなり直感的に理解しやすくなります。
もちろん、こうした説明はあくまで理解のための比喩です。実際の言語モデルの内部で、人間のように理解したり、意識的に考えたりしているわけではありません。モデルは、大量の学習データから得たパターンをもとに、行列演算を通して、次にもっともらしい単語や文章を選んでいます。
それでも、抽象的な概念をつかむ入口として、例えはとても有効です。
この記事が、LLMやSLMを「なんとなくすごいもの」で終わらせず、「こういう特徴を持つ技術なのか」 と理解するきっかけになればうれしいです。
参考文献
- 書籍：大規模言語モデル入門（技術評論社）
- 書籍：ChatGPTはどのように動いているのか？（翔泳社）