ベイズ的認知、記号と経験、そして「知識の在庫」から考える
機械学習が生成する答えは、しばしば「確率的な予測」と説明される。しかし、確率という言葉だけでは、機械学習の本質を十分に捉えられない。
重要なのは、モデルが単に乱数を使っていることではない。観測されたデータをもとに、何がもっともらしいかを推定し、予測を更新している点にある。この意味で、機械学習はベイズ的な認識の枠組みと深く結びついている。
ただし、すべての機械学習が厳密な意味でベイズ推論を実行しているわけではない。ベイズ推論では、事前分布と尤度から事後分布を計算し、不確実性を分布として表現する。これに対して、一般的なニューラルネットワークは、損失関数を最小化する単一のパラメータ集合を求めることが多い。
したがって、より正確に言えば、現代の機械学習はすべてベイズ的なのではなく、新しい情報によって予測を更新するという意味で、ベイズ的な認知観と共通する構造を持つのである。
近年の研究でも、大規模言語モデルが自動的に理想的なベイズ更新を行うわけではなく、明示的にその方法を学習させることで、確率的な信念更新が改善されることが示されている。つまり、LLMが確率モデルであることと、それが正しくベイズ的に推論できることは同じではない。
人間の認知はベイズ的なのか
人間もまた、経験を通じて世界についての予想を更新する。
暗い雲を見れば雨を予想し、相手の表情を見れば感情を推測する。医師は症状から病気の可能性を絞り込み、投資家は新しい情報によって市場の見通しを修正する。そこには、事前の期待と新しい証拠を組み合わせるという、ベイズ推論に似た構造がある。
しかし、人間は理想的なベイズ推論者ではない。たとえばギャンブラーの誤謬では、コインの表が何度も続くと、次は裏が出やすいと考えてしまう。独立した試行であれば次の確率は変わらないにもかかわらず、人間は短い系列の中にも「均衡への回帰」という物語を見いだす。
これはベイズ理論への反証ではない。人間の認知は、限られた経験、感情、物語、因果関係への期待によって、事前の信念そのものを作り替える。ベイズ理論は、人間が実際にどう考えるかを完全に記述する理論というより、証拠に応じてどう信念を更新すべきかを示す規範的な基準として理解したほうがよい。
特徴量を設計する機械から、表現を学ぶ機械へ
伝統的な機械学習では、人間が問題の見方を先に設計する。線形回帰、ロジスティック回帰、決定木などでは、どの変数を入力し、どのような形式で表現するかが結果を大きく左右する。
深層学習は、この関係を変えた。CNNは画像から局所的なパターンや階層的表現を学び、RNNは系列の依存関係を扱い、TransformerはAttentionによって離れた要素間の関係を捉える。人間がすべての特徴量を明示的に設計しなくても、モデルがデータから有用な内部表現を獲得できるようになった。
ただし、「深層学習には特徴量設計が不要だ」と言い切ることはできない。どのデータを集めるか、どの目的関数を採用するか、どの単位でトークン化するか、どのアーキテクチャを使うかという選択は、より上位の特徴設計だからである。特徴量設計は消えたのではない。人間が個々の特徴を手作業で定義する段階から、モデルがどのような表現を学ぶ環境を設計する段階へ移ったのである。
逆伝播法がもたらしたもの
深層学習を支える中心的な技術の一つが、誤差逆伝播法、すなわちバックプロパゲーションである。モデルの出力と正解との差を損失として計算し、その誤差への各パラメータの寄与を連鎖律によって後ろ向きに求める。そして、損失が小さくなる方向へ重みを更新する。
Geoffrey Hintonは、David Rumelhart、Ronald Williamsらとともに、この方法を多層ニューラルネットワークの学習に普及させた中心人物の一人である。ただし、その数学的発想や先行研究は彼ら以前にも存在していた。その功績は、一人の天才による孤立した発明というより、長い研究史の中でニューラルネットワーク学習の可能性を実証し、復活させたことにある。
しかし、バックプロパゲーションは知性そのものではない。それは、与えられた目的関数に対してパラメータを調整する方法である。何を正解とするか、何を損失とするか、学習データが現実の何を代表しているかは、その外側で決めなければならない。
機械は答えを最適化できるが、何を問うべきかまでは自動的に決められない。
結合主義と記号主義
記号主義は、知識を明示的な記号、規則、論理式として記述する。前提が正しく、推論規則が妥当で、適用範囲が明確であれば、結論の正しさを検証しやすい。
一方、結合主義は、知識が多数の単純な単位の相互作用と、分散された重みのパターンとして形成されると考える。人間が規則を一つずつ記述しなくても、データから規則性を学び、未知の入力へ一般化できることが強みである。
大規模言語モデルの成功は、一見すると結合主義の勝利に見える。しかし、それだけで記号主義が敗北したとは言えない。現在のAIエージェントは、ニューラルネットワークだけで閉じるのではなく、検索、データベース、知識グラフ、計算機、ルール、検証器を組み合わせる方向へ進んでいる。
LLMの登場が示したのは結合主義の最終勝利ではない。それは、記号を操作する能力そのものを、記号規則ではなく統計的学習から獲得できることの発見だった。
経験論と合理論への回帰
経験論は、人間の知識が感覚経験から形成されることを重視する。ロックの「タブラ・ラサ」が象徴するように、人間の精神は生まれた時点では白紙に近く、経験によって内容が書き込まれると考える。
合理論は、経験だけでは知識を説明できないと考える。人間には、数学、論理、因果、言語などを理解するための先天的な形式や認識能力があると想定する。
現代的には、人間は完全な白紙でもなければ、完成した知識を持って生まれてくるわけでもない。学習を可能にする制約、身体、注意、感情、欲求、社会性を備え、その構造と経験の相互作用によって知識を形成すると考えるほうが妥当である。
AIでも、学習データは経験に対応し、アーキテクチャ、目的関数、Attention、メモリ構造、トークン化、学習規則は先天的な認知形式に対応する。
どのような先天的構造が、どのような経験から、どのような知識を学習可能にするのか。
プラトンとアリストテレス、演繹と帰納
プラトンは感覚的な個別事物の背後に、普遍的で本質的な「イデア」を想定した。アリストテレスは、具体的な存在の観察、分類、比較から知識を構築しようとした。同時に、彼は三段論法をはじめとする形式論理を体系化した。
演繹では、前提が正しく推論形式が妥当であれば、結論も必然的に正しくなる。帰納では、多数の観察から一般的な規則を導くが、その結論は保証されない。
機械学習の多くは、この帰納の問題を計算機上に実装している。訓練データから規則性を学び、未観測の事例へ一般化する。しかし、一般化は証明ではない。
- 帰納は柔軟だが、保証が弱い
- 演繹は保証が強いが、前提と範囲に依存する
- 経験は新しい現実を取り込めるが、偶然や偏りに影響される
- 理念は知識を整理できるが、現実から切り離される危険がある
大規模言語モデルと世界モデル
大規模言語モデルは、主に観測されたトークン列の続きを予測する。次の語を高い精度で予測するためには、文法、意味、文脈、社会的慣習、世界についての広範な規則性を内部に圧縮しなければならない。
世界モデルは、状態、時間、行為、変化の関係を学習しようとする。「次に何が記述されるか」だけでなく、「ある行動を取れば世界がどう変化するか」を予測する。未来の状態を予測し、複数の行動候補を比較し、目標に適した計画を選ぶことを目指す。
言語モデルは、記述された世界の規則性を学ぶ。
世界モデルは、行動によって変化する世界の規則性を学ぶ。
将来のAIは、言語モデルか世界モデルかという二者択一ではなく、両者に記号推論、外部記憶、検索、実験、検証を組み合わせた複合システムになる可能性が高い。
四つの知識領域
- 既知の既知：自分が知っていると認識していること。
- 既知の未知：自分が知らないと認識していること。
- 未知の既知：内部に存在するが明示的に認識していない知識。暗黙知やデータに埋もれたパターンを含む。
- 未知の未知：問いの存在そのものを認識していない領域。
大規模言語モデルが特に強いのは、「既知の既知」の再構成と「未知の既知」の顕在化である。世界モデルは、「既知の未知」に向き合うための道具になりうる。
しかし、「未知の未知」を発見するには予測だけでは足りない。観測装置を作り、新しい条件を設定し、実験し、失敗し、既存理論では説明できない差異を見つけなければならない。科学における実験の価値は、予想していなかった現象によって問いそのものを作り替えることにある。
スケーリング則と創発の限界
大規模言語モデルの発展は、モデル規模、データ量、計算量を増やすと性能が改善するというスケーリング則に支えられてきた。しかし、それは「大きくすれば必ず知能が生まれる」という自然法則ではなく、特定の条件と評価指標の下で観測された経験則である。
規模を拡大すれば平均的な予測精度は改善しても、希少事例、因果推論、長期的な整合性、現実世界での信頼性が同じ速度で改善するとは限らない。創発も、評価指標の閾値や測定方法によって不連続に見える場合があり、必ず発生する保証はない。
世界モデルにも限界がある。現実世界は部分的にしか観測できず、状態が連続的で、他者の意思が介在し、環境そのものが変化する。長期予測では小さな誤差が蓄積する。
世界を予測する能力と、世界に対して責任を持つ能力は同じではない。
機械学習の境界線
ここまでの議論から見えてくる機械学習の限界は、単に「計算量が足りない」「データが足りない」という問題ではない。それは、機械がどのように知識を獲得し、どの範囲で推論し、どのように現実と接続するかという、認識の構造そのものに関わっている。
第一の境界は、既存の仮説空間の境界である
ベイズ推論は、新しい証拠によって信念を更新するための強力な枠組みである。しかし、更新できるのは、原則としてあらかじめ想定された仮説の範囲内に限られる。
どれほど正確に事後確率を計算しても、真の原因が最初から仮説空間に含まれていなければ、正しい結論には到達できない。これは機械学習にも当てはまる。
モデルは、与えられたデータと表現の範囲内で、どの説明がもっともらしいかを選択できる。しかし、既存の分類そのものが間違っている可能性や、まだ名前のない現象が存在する可能性を、自動的に十分考慮できるわけではない。
したがって、機械学習の第一の限界は、答えを選ぶ能力ではなく、答えの候補となる世界そのものを誰が、どのように定義したのかという点にある。
第二の境界は、帰納と一般化の境界である
機械学習の多くは、過去の観測から規則性を抽出し、それを未観測の事例へ適用する帰納的な方法である。
しかし、帰納によって得られた規則は、演繹的な証明とは異なる。訓練データの中で高い精度を示したパターンが、異なる時代、地域、制度、文化、環境でも成立するとは限らない。
モデルの性能は、過去と未来、訓練環境と実際の運用環境が、ある程度同じ構造を持つという前提に依存する。ところが、現実には制度が変わり、人々がモデルの存在を知って行動を変え、モデルによる予測そのものが環境へ影響を与える。
つまり、機械学習は固定された世界の中で規則性を発見することには強いが、規則そのものが変化する世界を扱うとき、その一般化能力は保証されない。
スケーリングによって過去の分布をより精密に学習できたとしても、それだけで分布の外側へ出られるとは限らない。規模の拡大は、地図をより精密にする。しかし、地図にまだ描かれていない土地の存在まで保証するものではない。
第三の境界は、統計的妥当性と論理的保証の境界である
大規模言語モデルの成功は、結合主義が持つ強力なパターン学習能力を示した。モデルは大量の事例から言語の規則性を学び、明示的な規則が与えられていなくても、柔軟な応答を生成できる。
しかし、もっともらしい答えと、論理的に正しい答えは同じではない。
結合主義的なモデルは、例外の多い現実、曖昧な言語、不完全な情報に柔軟に対応できる。一方で、どの前提からどの結論が必然的に導かれたのかを、常に明確に保証できるわけではない。
記号主義は、前提と推論規則が明示されていれば、結論を検証しやすい。しかし、現実を記号へ変換する段階で重要な情報が失われたり、想定外の状況に対応できなかったりする。
したがって、機械学習の境界は、結合主義か記号主義かのどちらか一方にあるのではない。
統計的な柔軟性だけでは真理を保証できず、論理的な厳密さだけでは変化する現実を捉えきれない。
必要なのは、経験から学ぶ能力と、推論を検証する能力を接続することである。大規模言語モデルが生成し、記号的な仕組みが検証し、現実から得られた証拠が両者を修正する。その循環がなければ、AIは柔軟だが信頼できないか、厳密だが現実に適応できないかのどちらかになる。
第四の境界は、言語的予測と世界への介入の境界である
大規模言語モデルは、人間が言語として記録した世界を学習する。そこには、事実だけでなく、推測、誤解、価値判断、物語、制度、文化的偏りも含まれている。
したがって、言語モデルが学んでいるのは世界そのものではなく、人間によって記述された世界である。
世界モデルは、この限界を越えようとする。状態の変化や行動の結果を予測し、将来をシミュレーションすることで、言語的な関連性から因果的、時間的な関係へ近づこうとする。
しかし、世界モデルによる予測も、あくまでモデル内部の予測である。シミュレーションの中で成功した行動が、現実でも成功するとは限らない。予測を現実の知識へ変えるためには、実際に行動し、結果を観測し、モデルを修正する必要がある。
ここには、言語モデルと世界モデルの共通の境界がある。
言語モデルは「何が語られやすいか」を学習し、世界モデルは「何が起こりうるか」を予測する。しかし、実際に何が起こるかを確かめるためには、現実との接触が不可欠である。
第五の境界は、知識の再構成と知識の増分の境界である
大規模言語モデルがもっとも得意とするのは、人類がすでに蓄積してきた知識の再構成である。
それは「既知の既知」を整理し、異なる領域に散在していた情報を結びつけ、「未知の既知」を可視化することができる。人間が明示的には気づいていなかった関係を提示するという意味で、LLMは知識発見の支援装置になりうる。
しかし、そこで生まれる新しさの多くは、既存の知識要素の新しい組み合わせである。
組み合わせとして新しいことと、世界について新しい事実が増えたことは区別しなければならない。
世界モデルは、既知の知識から未観測の未来を予測し、「既知の未知」へ接近できる。しかし、その予測が正しいかどうかは、最終的には観測や実験によって確かめなければならない。
そして「未知の未知」は、既存のデータをいくら精密に再構成しても現れない可能性がある。それは予測の誤差、実験の失敗、例外的な観測、あるいは既存の分類では説明できない現象として現れる。
したがって、機械学習の最も根本的な境界は、知識の在庫を利用することと、知識そのものを増加させることの間にある。
境界の向こう側にあるもの
以上の五つの境界は、それぞれ前述した議論に対応している。
- ベイズ推論は信念を更新できるが、仮説空間そのものを自動的に超えるとは限らない
- 帰納は過去から一般化できるが、未来の構造が過去と同じであることを保証できない
- 結合主義は柔軟だが、記号的な検証なしには論理的保証が弱い
- 世界モデルは未来を予測できるが、シミュレーションを現実の事実へ変えるには行動と観測が必要である
- LLMは知識の在庫を再構成できるが、未知の未知を知識へ変えるには実験が必要である
この観点から見れば、機械学習の限界は、モデルの外側に単純な一本の線として存在するのではない。
その境界は、モデルとデータの間、帰納と演繹の間、言語と世界の間、シミュレーションと実験の間、そして知識の在庫と増分の間に存在する。
機械学習は、この境界の内側で急速に能力を高めている。しかし、モデルを大きくすることは、必ずしも境界を越えることを意味しない。多くの場合、それは既存の境界の内側を、より速く、より細かく、より広範囲に探索できるようにすることである。
スケールが改善するのは、既存の知識空間を探索する能力である。
科学的発見が拡張するのは、知識空間そのものを作り替える能力である。
この二つを混同すると、AIが流暢に答えられることを、AIが世界を理解していることだと考えてしまう。逆に、この二つを適切に区別すれば、AIの本当の価値も明確になる。
AIは、人間に代わってすべての未知を解消する装置ではない。それは既存の知識を圧縮し、仮説を生成し、可能性を比較し、人間がどこを観測し、何を実験すべきかを示す装置になりうる。
つまり、AIの価値は、答えを完成させることだけにあるのではない。
知識の在庫から次に検証すべき仮説を生み出し、それを現実との接触によって知識の増分へ変える。その循環を加速することにこそ、AIの本質的な可能性がある。
増分の問題か、在庫の問題か
現在の大規模言語モデルは、人類が蓄積してきた知識の在庫を圧縮し、再配置し、アクセスしやすくする装置である。しかし、知識の在庫を効率的に再構成することと、世界について新しい知識を増やすことは同じではない。
- 在庫とは、すでに記録され、共有され、再利用可能になった知識である
- 増分とは、新しい観測、実験、行動、失敗によって世界から獲得される知識である
LLMは在庫の流動性を劇的に高める。世界モデルは、その在庫を用いて未来の可能性をシミュレーションする。しかし、知識の純粋な増分を生み出すには、現実への介入が必要である。
AIが知識在庫を効率的に再構成し続ける一方で、人間が観測、実験、現場経験への投資を減らせば、在庫は増えなくなる。AI生成物を別のAIが学習し続ければ、知識が増加しているように見えても、既存の内容が希釈されながら循環しているだけかもしれない。
在庫の回転率が上がることと、在庫そのものが豊かになることは違う。検索速度が上がることと、真理に近づくことも違う。
答えを生成する知性から、誤りを発見する知性へ
機械学習の次の課題は、より多くの答えを生成することだけではない。自分の予測がどこで破綻するかを見つけ、何を知らないかを表現し、どの仮説を現実で検証すべきかを提案することにある。
真に知的なシステムとは、常に正しい答えを返すシステムではない。未知を未知として保持し、もっともらしさと事実を区別し、自分の確信度を更新し、失敗から問いを再設計できるシステムである。
人間の役割も、答えを記憶することから問いを選ぶことへ移るだろう。
- どの問題を最適化するのか
- 何を測定し、何を測定しないのか
- 誰の経験がデータに含まれ、誰の経験が排除されているのか
- 予測の失敗をノイズとして捨てるのか、新しい理論の入口として扱うのか
AIの限界は、人間の優位性を保証する壁ではない。それは、人間が引き受けるべき責任の輪郭である。
機械が知識の在庫をほぼ無限に組み替えられる時代に、最も希少になるものは答えではない。現実に触れること、驚くこと、問いを立てること、そして予測が外れたときに世界の側を尊重することである。