数学する脳とAI

2023年8月号の日経サイエンスに「数学する脳とAI」という特集記事が掲載されているのを読みました。
そこには、「Logical Tasks for Measuring Extrapolation and Rule Comprehension」という論文が紹介されています。
この論文では、研究用の小規模な Transformer に、500～1500 の範囲の数を2つ足すような足し算を学ばせたあと、学習の範囲外を含む 0～2500 の範囲の数字を使った足し算を解かせたところ、学習していない計算については殆ど不正解だったという結果を紹介しています。
人間にとっては、計算と会話は全く異なるタスクですが、LLM では地続きの同じ作業に見えているのではないかと著者は考察しています。つまり、LLM は足し算を「直感的」に解いており、足し算の背後にある「規則性」（たとえば桁上りといった規則）の抽出は苦手としていると見ています。実際、LLM が間違った足し算では桁上り（繰り上がり計算）ができていないケースが多かったと報告しています。
こうして、今の AI（ Transformer をベースとした LLM ）は数学を理解していない（足し算の規則性すらきちんと把握していない）と結論付けており、今後「推論できるAI」を目指すことの重要性を説いていました。

コンテキスト内学習（In-context learning）

そんな推論ができないと思われている今の AI ですが、コンテキスト内学習（In-context learning）によって、つまり、プロンプト内でタスクの指示内容を工夫することで推論能力を高めることができることが知られています。具体的には、命令内容の前に、ルールや手順を言葉で与えるのが効果的とのことです。有名なのは「Let's think step by step」ですね。実際、足し算の計算方法やアルゴリズムをコンテキスト内学習で言葉で教えてから実際の問題を解かせることで正答率が上がったという研究もあるそうです。

グローバル・ワークスペースを持つ AI

推論できる AI を目指して、ヒトの脳をヒントにした「グローバル・ワークスペース」という新しい AI の概念があるそうです。
特定の機能に特化した複数のニューラルネットワークがあり、まとめ役になるニューラルネットワークが情報の集約を行って、必要に応じてそれらのニューラルネットワークに指示を出すというモジュール型の考え方だそうです。

GPT4もグローバル・ワークスペースを持つ AI ？

当初、GPT4のパラメータ数は１兆を超えるとまことしやかに言われていましたが、実は、GPT3.5クラス（パラメータ数 2,200億）の LLM を８つ連結し、それらの調整役をする LLM がそれらに指示を出しているとの説があります。GPT4のアーキテクチャは非公開なので、本当のところはわかりませんが、もしそれが事実とすれば、これってグローバル・ワークスペースを持つ AI ですよね。

CoT (Chain of Thought)

推論機能を高めると言えば CoT (Chain of Thought) もそうですね。
実は今の LLM には特定の機能に特化したモジュール構造が既に生まれており、CoT によってそのモジュールをステップ・バイ・ステップに呼び出すことを人間が指示してやることによって論理的な推論を実現しているのではないかと妄想しています。
ですが、今の LLM には調整役のモジュールがない。だから、ゼロ・ショットではうまく推論ができない。問題は、その推論機能を駆動する調整役のモジュールをどうやってデータから学習するかということです。

創発

私は LLM の「創発」によってこの推論の問題が解決するのではないかと思ってましたが、「Logical Tasks for Measuring Extrapolation and Rule Comprehension」の著者は、「大規模言語モデルの規模を大きくするだけで解決する問題ではありません」と言ってます。私は、「創発」現象は、潜在空間におけるトークンの状態ベクトルの質が極度に向上した結果、これまで解けなかったタスクが解けるようになるのではないかと考えています。しかし、こと推論においては、トークンの「質の向上」だけでは解決しませんよね。論理はトークンに宿るものではなく、もっとメタな概念ですものね。

グローバル・ワークスペース再考

LLM のモジュール化と言えば、Plugin もある意味そうですよね。
たとえば ChatGPT用 Wolframプラグインを利用すれば数学の問題が正確に解けるようになります。ですが、プラグインはあくまでもその目的に応じて人間が開発し、必要に応じて人手によって導入（設定）するものであって、LLM がデータから学習して実現するものではありません。推論する AI にとって重要なことは、機械が自動的にデータから学習して利用できるようになることです。人が介在すると、どうしても「漏れ（機能の過不足）」や「想定外」な事態が発生します。