はじめに
大規模言語モデル（LLM）の事前学習と圧縮の関係性について、特にIlya Sutskeverの2023年の講義「An Observation on Generalization」に焦点を当てて解説します。この考え方は近年、GPT-4.5の事前学習に関する議論でも取り上げられており、AI研究の重要な概念となっています。
教師あり学習と教師なし学習の理論的違い
教師あり学習では理論が比較的発達しています。i.i.d.（独立同一分布）などの仮定の下で、訓練損失とモデルの複雑さを最小化することで、テストエラーの上限を予測できます。つまり、一定程度の汎化性能を予測することが可能です。
一方、教師なし学習では、そのような保証はまだ明確ではありません。2025年現在でも、教師なし学習の目的関数を最小化することが、どのようにして下流タスクのパフォーマンス向上に繋がるのかを完全に理解できていません。
Sutskeverの仮説：教師なし学習 = 圧縮
Sutskeverは「教師なし学習 = 圧縮」という仮説を提案しました（この類似の議論は他の研究者からも提起されています）。
データセットXとYがあり、圧縮器Cがあるとします。圧縮されたデータのサイズを|C(data)|と表します。良い圧縮器は以下の条件を満たすべきです：
|C(concat(X, Y))| < |C(X)| + |C(Y)| + O(1)
これは、良い圧縮器がXとYの共有パターンを見つけ出すため、結合圧縮は個別の圧縮よりも短くなることを意味します。つまり、圧縮 = パターン抽出と考えられます。
多くのデータポイント間でパターンが共有されていれば、より良い圧縮が達成され、抽出された知識が有用になります。例えば、日本語(X)と英語(Y)のデータセットを圧縮すると、共有される言語構造や世界知識を活用できるかもしれません。
コルモゴロフ複雑性との関係
コルモゴロフ複雑性K(X)は、Xを出力する最短のプログラムの長さです。これは理想的な圧縮を表します。計算可能なあらゆる圧縮器Cについて：
K(X) ≤ |C(X)| + K(C) + O(1)
また、条件付き複雑性は：
K(Y|X) ≤ |C(Y|X)| + K(C) + O(1)
そして結合複雑性は：
K(X, Y) ≤ K(X) + K(Y|X) + O(log K(X|Y))
Xをラベルなしデータ、Yを未知のラベルとすると、理想的にはK(X,Y)を最小化したいところです。しかしYは未知なので、その代わりにK(X)を最小化し、K(Y|X)を小さく保つことを目指します。つまり、Xをよく圧縮し、Yに適応できるようにするのです。
真のコルモゴロフ複雑性は計算不能ですが、ニューラルネットを「検索可能な圧縮器ファミリー」と考えることができます。最大尤度での訓練は、圧縮の最大化に対応します。
したがって、教師なし学習において「圧縮」を通じた訓練は、共有構造やパターンを抽出するのに役立ち、これが下流タスクに利益をもたらします—特にそのパターンがタスクと整合している場合に効果的です。
2025年の視点から見た現状の課題
「知能 = 圧縮」という考え方は2025年現在でも有効ですが、いくつかの問題点がより明確になっています：
-
良い圧縮器を見つけることの難しさ：TransformerとSGDの組み合わせは強力ですが、最適でもデータ効率が良いわけでもありません。
-
意味のある表現の保証：良い損失関数があっても、意味のある表現が保証されるわけではありません。コンピュータビジョンでは、再構成損失だけでは不十分で、対照損失や他の補助的な損失が必要になることがあります。これは最適化の難しさに起因している可能性があります。
-
データ効率の重要性：合成データ生成、蒸留、共同蒸留などがどのように良い圧縮を達成するのに役立つかをさらに理解する必要があります。データの希少性が増すにつれて、データ効率の重要性は増していきます。
-
教師なし学習の目的の再検討：より良い方法を見つけるためには、教師なし学習の目的を見直す必要があります。
まとめ
LLMの事前学習と圧縮の関係性は、単に技術的な問題ではなく、人工知能の本質に迫る深い洞察を提供します。圧縮を通じてパターンを抽出し、それを様々なタスクに応用できるという考え方は、現代のAI研究の根幹を成しています。
今後の研究では、より効率的な圧縮方法の開発や、圧縮とタスクパフォーマンスの関係性をより明確に理解することが重要になるでしょう。これらの進展により、より効率的で汎用性の高いAIシステムの開発が期待されます。