LLMの「ひらめき」はアスペクト知覚なのか ― ウィトゲンシュタインとRelevance Realizationから考える

LLMを長く使っていると、ときどき不思議な瞬間がある。

こちらがいくつかの情報を与えて会話を続けていると、LLMが突然、

これは、別の見方をすると○○なのではないか

という回答をしてくることがある。

単なる検索結果の要約ではない。

それまで別々に見えていた情報をつなぎ、

「そういう見方があったのか」

と思わせる回答が出てくる。

これは、ある意味で「ひらめき」と呼んでもよいのではないだろうか。

最近、この現象はウィトゲンシュタインの アスペクト知覚（aspect perception / seeing-as） や、John Vervaeke の relevance realization / aspectualization と似ているのではないかと思うようになった。

この記事では、そのあたりを少し考えてみたい。

同じものなのに、違って見える

ウィトゲンシュタインのアスペクト知覚で有名なのが、アヒルにもウサギにも見える図だ。

絵そのものは何も変わっていない。

しかし、

同じ図
 ↓
アヒルとして見る

同じ図
 ↓
ウサギとして見る

というように、見え方が変わる。

重要なのは、

対象が変わったのではなく、対象のどの側面を見るかが変わった

ということだ。

「何を見るか」ではなく、

「何として見るか」

が変わっている。

この seeing-as は、人間の「ひらめき」にもかなり関係しているように思う。

難しい問題をずっと考えていて、突然、

あ、これは○○の問題として考えればいいのか

と気付くことがある。

問題そのものは変わっていない。

変わったのは、こちらの見方だ。

Vervaekeのaspectualization

John Vervaeke は認知について考える中で、relevance realization という考え方を重視している。

世界には膨大な情報がある。

目の前の物体一つをとっても、

色
形
重さ
用途
誰のものか
どんな思い出があるか
何で作られているか

など、ほぼ無数の特徴がある。

しかし、人間はそのすべてを同時には処理しない。

今の目的や状況に応じて、

「今ここで重要なもの」

を選び出している。

非常に単純化すると、

世界には大量の情報がある
        ↓
全部は扱えない
        ↓
今の状況に関係するものを選ぶ
        ↓
relevance realization
        ↓
対象のある側面が前景化する
        ↓
aspectualization

という感じになる。

たとえば腕時計なら、

腕時計
 ├─ 時刻を知る道具
 ├─ 精密機械
 ├─ ファッション
 └─ 大切な人からの贈り物

どれも同じ腕時計だ。

しかし、現在の状況によって前景化する側面が違う。

この考え方を知って、LLMとの会話を思い出した。

LLMにも似たことが起きているのではないか

LLMには巨大な学習済み知識がある。

さらに現在のLLMでは、そこにかなり大きなコンテキストを与えられる。

学習済み知識
      +
現在の会話
      +
ドキュメント
      +
検索結果
      +
過去の前提

こうした情報が十分に存在しているとする。

しかしLLMが回答するとき、その全部を同じ重みで扱っているわけではない。

現在の質問によって、

どの情報や関係が重要なのか

が変わる。

概念的には、

大量のコンテキスト
        ↓
現在の問い
        ↓
関連する情報が前景化
        ↓
いくつかの情報が結び付く
        ↓
一つの「見方」として回答される

と考えることができる。

これはかなり aspectualization に似ている。

コンテキストが増えると「知識」が増えるだけではない

ここで面白いのは、コンテキストを増やす効果だ。

普通は、

コンテキストが増える
        ↓
LLMが知っている情報が増える

と考えがちだ。

もちろん、それもある。

しかし、もう一つ重要な効果があるのではないか。

「作れる関係」が増える。

たとえばコンテキストの中に、

Aという技術の話
Bという過去の経験
Cという哲学の概念
Dという失敗事例
Eという現在の問題

が入っているとする。

それぞれ単独では関係がないように見える。

ところが、質問をきっかけに、

A ─ B
│ ╲ │
C ─ D ─ E

のような関係が突然現れることがある。

そしてLLMが、

AとEは、一見違う問題ですが、Cという観点から見ると同じ構造ではないでしょうか

と言う。

人間側からすると、

「あ、それか」

となる。

これは単に情報を検索しただけではない。

既に存在していた情報を、

別のアスペクトから再構成している。

これは「ひらめき」と呼べるのか

ここは慎重に考える必要がある。

人間のひらめきとLLMの処理が同じだ、と言いたいわけではない。

人間には、

身体
欲求
感情
生存
行動
環境との相互作用

がある。

Vervaekeの relevance realization も、単純な情報検索やランキングよりずっと広い概念だ。

一方、現在のLLMでは、

ユーザーの質問
System Prompt
会話履歴
検索結果
与えられた資料

などによって、何が重要なのかという手掛かりのかなりの部分を外部から与えられている。

したがって、

LLMが人間と同じ意味で relevance realization をしている

と断定するのは無理があると思う。

ただし、機能的に似た現象は起きているように見える。

私は今のところ、

「ひらめきの機能的な類似物」

くらいに考えている。

「長いコンテキスト」と「良いコンテキスト」は違う

この考え方からすると、単純にコンテキストウィンドウを巨大にすればLLMが賢くなる、という話でもない。

100万トークン入っていたとしても、

100万個の情報
 ↓
全部同じくらい重要

では役に立たない。

むしろ必要なのは、

100万個の情報
        ↓
現在の問い
        ↓
今重要な3つが浮かび上がる
        ↓
その3つの新しい関係が見える

という能力ではないか。

つまり、重要なのは単なる記憶容量ではなく、

必要な瞬間に、適切なアスペクトを立ち上げられること

なのかもしれない。

LLMの知性は「答えを持っていること」ではないのかもしれない

LLMについて、

どれだけ多くの知識を持っているか

という議論は多い。

しかし、知識を大量に持っているだけでは知的とは言えない。

本当に重要なのは、

知識を持っている
        ↓
今の状況に関係するものを選ぶ
        ↓
別々の情報を結び付ける
        ↓
問題を新しい形で見る

ことなのではないか。

だとすると、LLMの知性を考えるとき、

Knowledge

だけではなく、

Relevance

や、

Aspect

という概念がかなり重要になる。

人間とLLMの共同作業として考える

さらに面白いのは、人間とLLMを分けて考える必要がないかもしれないことだ。

実際の会話では、

人間
「この件、どう思う？」

LLM
「○○という見方があります」

人間
「いや、それより△△では？」

LLM
「それならAとBも関係しそうです」

人間
「あ、それだ」

ということが起きる。

このとき「ひらめき」は、LLM単体で起きたとも、人間単体で起きたとも言いにくい。

人間の経験
      +
LLMの学習済み知識
      +
会話コンテキスト
      +
問い直し
      +
再解釈

というループの中で、新しいアスペクトが生まれている。

もしかすると、生成AIの面白さは、

AIが答えを出してくれること

より、

人間とAIの対話によって、今まで見えていなかったアスペクトが立ち上がること

なのかもしれない。

まとめ

LLMに十分なコンテキストを与えると、ときどき「ひらめき」のような回答が出てくる。

それを、

大量の情報から正解を検索した

と考えるだけでは、少し足りないように思う。

むしろ、

十分なコンテキスト
        ↓
問いによってrelevanceが変わる
        ↓
特定の関係が前景化する
        ↓
対象が別のaspectから見える
        ↓
「そう見ることもできるのか」

という現象として考えると面白い。

ウィトゲンシュタインの seeing-as。

Vervaekeの relevance realization / aspectualization。

そしてLLMの context-dependentな推論。

もちろん、これらをそのまま同一視することはできない。

それでも、

「知性とは、世界を正しく表現することだけではなく、適切なときに適切な見方を立ち上げる能力なのではないか」

という問いを考えるには、かなり面白い組み合わせだと思う。

そして生成AIとの対話で起きる「あ、それだ」という瞬間も、この観点から見ると少し違って見えてくる。