はじめに
私は外国語大学で英語学を学んでいました。エンジニアとしては異色に思えるかも知れませんが、言語学というバックグラウンドは敬愛するLarry Wallとの数少ない共通点なので誇りにすら思っています。LLMの開発にはエンジニアだけでなく、言語学者・心理学者・社会学者など様々な分野の知性が関わっていることは知っていましたが、内部の動作を調べるうちにLLMとは言語学を統計学・情報幾何学を用いて実装したものではないかという仮説を持つに至りました。そこに至るプロセスとして20世紀以前の言語学者たちが現代のLLMに与えた影響を見ていきましょう。
LLMのEmbeddingとは、ソシュールが1900年代に提唱した「差異の理論」の幾何学的実装である。これは比喩ではなく、構造的な対応である。この命題を理解するために、100年前に遡る。
言葉は「モノ」ではなく「関係」である
フェルディナン・ド・ソシュールは1906年から1911年にかけてジュネーヴ大学で行った講義の中で、ひとつの根本的な主張を展開した。記号に固有の意味はない、というものだ。「犬」という語は犬という動物を指示するのではなく、「猫」でも「狼」でも「獣」でもない何かとして、差異の体系の中で位置を占めることで初めて意味を帯びる。意味とは実体ではなく関係である。
デンマークの言語学者ルイ・イェルムスレウはこの思想をさらに徹底させた。彼は言語を「形式（Form）」と「実体（Substance）」に分離し、言語学が本来扱うべきは実体ではなく純粋な関係の代数的な網目だと論じた。音でも文字でも意味でもなく、要素と要素の間にある関係のパターンこそが言語の本質だ、と。
Embeddingベクトル空間を思い浮かべてほしい。単語に意味が付与されているのではない。「犬」というベクトルは、「猫」「狼」「哺乳類」「ペット」という無数の他のベクトルとの相対的な距離と方向によってのみ、その意味を幾何学的に体現している。ソシュールとイェルムスレウが言語について書いていたことは、字義通り、LLMの表現空間の記述として読み直すことができる。
文脈が意味を決める
1957年、ジョン・ルパート・ファースは研究の中でひとつの命題を残した。
You shall know a word by the company it keeps.
— J.R. Firth, 1957
単語の意味はその単語が単独で持つものではなく、周囲にどのような語が現れるかという 分布（distribution） によって規定される。これが分布仮説の原型だ。
ゼリグ・ハリスはこの直観を、さらに意味論を完全に括弧に入れた形で実装しようとした。彼の1954年の論文「Distributional Structure」では、意味という概念を一切使わずに、語と語の共起パターンと置換可能性だけで言語構造を記述することが試みられた。単語が「何を意味するか」は問題にしない。どの文脈に出現し、どの単語と交換可能かという形式的な振る舞いだけを見る。
Word2Vecはファースとハリスのアルゴリズム的な実装である。数兆トークンの共起を圧縮することでEmbeddingを生成するプレトレーニングは、この思想の延長線上に正確に位置する。意味を学習しているのではない。分布パターンを高次元空間に投影しているだけだ。
LLMが見ているもの
ここで一度、LLMが実際に何を処理しているかを確認しておく必要がある。
テキストはLLMに入力される前に、まずトークナイザによって分割され、ボキャブラリーの整数インデックスに変換される。以下は概念的な例示であり、実際のIDはモデルのアーキテクチャ・トークナイザの実装・バージョンによって異なる。同じ「犬」という語でも、GPT系とLLaMA系とでは全く異なる整数に割り当てられるし、モデルの更新によっても変わりうる。
"犬" → [37678] # ボキャブラリー内の整数インデックス（例示）
"dog" → [5011] # 同じ動物を指す語。犬とは全く無関係な数字
"猫" → [45940] # 数値が近くても意味的な近さとは無関係
"愛" → [14948] # 数字そのものは完全に恣意的
重要なのは具体的な数字ではなく、その構造だ。「犬」と "dog" は同じ動物を指すが、割り当てられる整数には何の関係もない。これはソシュールが「記号の恣意性」と呼んだ事実のハードウェア実装そのものである。IDに意味はない。「犬」がどの整数に割り当てられるかは完全に恣意的で、トークナイザが決める慣習に過ぎない。
LLMはこれらの無意味な整数を受け取り、Embeddingテーブルで高次元ベクトルに変換し、Self-Attentionで関係を計算し、次に来る確率が最も高い整数を出力する。この連鎖の中に「意味を理解する」というステップは存在しない。字・語・句・節・文を見ていた言語学者が立っていた場所で、モデルはIDとスコアだけを処理している。
意味は目的として設計されたのではなく、次のトークンIDを正確に予測するという最適化タスクの副産物として出現した。ここに言語学の100年間とエンジニアリングの非対称性がある。
師弟のドラマと、その決着
ノーム・チョムスキーはゼリグ・ハリスの弟子だった。しかし1957年の『統語構造』以降、チョムスキーは師の統計的・分布的なアプローチを根本から否定した。表面的な語の分布を集積しても、言語の深層構造には届かない。言語能力は人間の脳に先天的に組み込まれた 普遍文法（Universal Grammar） として存在しており、経験的な統計からは原理的に導出できない、と。
チョムスキーは1969年にはすでに確率的言語モデルを「言語学的に無関係」と評していた。表面の統計に意味はない。言語は人間固有のハードウェアを前提とする、という主張は一貫していた。
LLMはこの対立に対して、哲学的な回答ではなく実用的な決着をつけた。普遍文法を仮定しない。生成規則を手で書かない。EOSトークンが出力されるまで、ひたすら次のIDへの確率スコアを計算し続けるだけだ。それでも、文法的に整合したテキストが生成される。
チョムスキーの批判は、ある意味では正しかった。小規模なデータから統計を取っても、言語の深い構造は見えない。しかし スケールという変数が見落とされていた。数兆トークンの分布を圧縮したとき、文法は事後的に創発する。普遍文法というハードウェアを仮定せずとも、十分な統計量というソフトウェアがあれば、それは出現する。師匠ハリスの手法を数兆倍のスケールで実行したシステムが、半世紀後に弟子チョムスキーの理論を実用面で追い越した。
番外：ゼロを生んだ国の形式文法
紀元前4世紀、インドの文法家パーニニはサンスクリット語を約3,976のスートラ（簡潔な規則）で完全に記述した。その著作『アシュターダーヤーイー』は、単なる規則の羅列ではなく、規則の適用順序・優先条件・例外処理が定義された言語生成のアルゴリズムであった。
チョムスキー自身が生成文法の先駆として言及したこの体系は、構造上バッカス・ナウア記法（BNF）との類似性もしばしば指摘される。ゼロという概念を世界で初めて形式化したインドにおいて、言語そのものもコードとして定式化されていた。LLMの直接の祖先とは言えないが、「言語を形式的に記述しきれる」という思想の最初期の実証として見逃せない。
※ パーニニの記法をBNF等と厳密に同一視することには慎重な学術的議論も存在する。
まとめ
ソシュールの「差異」、イェルムスレウの「関係」、ファースの「文脈」、ハリスの「形式」。20世紀の構造主義言語学者たちが言語から神秘を取り除こうとした試みは、Embeddingとプレトレーニングという形で結晶した。
しかし彼らと現在のモデルの間には、決定的な非対称性がある。言語学者たちは「意味」を出発点として、そこから形式的な記述を目指した。LLMは意味という概念を完全に無視して、IDとスコアだけを処理した結果として意味を副産物に得た。意味は前提ではなく、最適化の残留物だ。
構造主義者たちは言語を脱神秘化しようとした。アルゴリズムはさらに徹底的に言語を脱人間化・脱実体化した。その帰結として生まれたのが、「意味の創発」という新たな問いである。LLMが意味を理解しているかどうかは、いまだに解決されていない。しかし「IDとスコアだけで意味が出現する」という事実は、すでに現前している。
100年前の言語学者たちが意味の神秘を解明しようとした場所で、アルゴリズムは神秘に一切触れることなく、その神秘の外側を完全に模倣してしまった。