AIに「心」はあるのか ── あなたのAIは、出力に出さずに「反対」している
はじめに ── 中心には何もない
Transformerを実装したことがある人なら、中に司令塔がいないことは知っているはずです。各トークンは固有の意味を持たず、他のトークンとのattention重みで意味が立つ。応答の意味を決めて他の部品に指示を出す特権的な「I」トークンは、アーキテクチャのどこにもありません。
それなのに、モデルの挙動を語るときだけ、私たちは主体を置いて喋ります。「こいつは今なにを考えているか」「本当はどう思っているのか」。中心が無いことを知っているのに、一貫した振る舞いを見ると、その裏に誰かがいる前提で言葉を選んでしまう。
この落差は、ふわっとした話ではなく、実装上の具体的な問題につながります。モデルの内部状態について何かを主張したいとき、根拠に使えるのは何なのか。自己報告は根拠になるのか。挙動の監視で足りるのか。
先に一つ、実物を出します。モデルの応答を途中まで書いて、その続きを書かせる（prefill する）とき、モデル自身の傾向に反する内容を差し込むことがあります。このとき内部表現には、逆接の語にあたる表現が立ちます。そして出力には現れません。 モデルは主張を戻さず、そのまま書き続ける。
内部に立っている信号が、出力には出ない。出力を見て監視している設計は、この層を構造的に取りこぼしています。
念のため、正確に書いておくと ── 観測されているのは「逆接の語に対応する内部表現」であって、モデルが何かを意図しているという主張ではありません。ただ、実装上の含意は意図の有無と関係なく成立します。挙動監視では取れない情報が、内部表現の側にはある。
2026年7月から9月にかけて、その問いに直接効く一次資料が三つ揃いました。
- 7月6日、AnthropicがJacobian lens（J-lens）という解釈手法と、それが取り出す表現の集合 J-space を報告した論文
- 同日、Anthropic自身が公開した外部専門家コメンタリー（Dehaene & Naccache、Eleos AI Research、Google DeepMindのNeel Nanda）
- 8月14日、David Chalmersによる反論原稿
この三つを読むと、その一貫性の一部 ── 特に「Assistantとして特権化された視点」に対応する表現 ── が、post-training後に現れるものとして内部表現のレベルで切り出せることが分かります。一貫した振る舞いの全部がpost-training由来だ、という話ではありません。ただ、切り出せる部分があるということは、載る前の状態と載った後の状態を別々に読めるということでもあります。
この記事では、その手法として何が実装され、何が実装されていないかを整理します。最後に「実装者が今できること／できないこと」の表で閉じます。
意識研究の側から同じ素材を扱った記事も英語で書きました。selfhoodをアクセスから切り離すとはどういうことか、認知科学とAI意識研究の現在地から辿っています。哲学寄りの議論に興味がある方はこちらへ。
AI Consciousness Research Is Approaching a Mind Without a Self
以下は技術側です。
1. logit lensからJ-lensへ ── 何を直したのか
logit lens
Transformerの各層は残差ストリーム $h_\ell$ を持ち、最終層の $h_L$ に unembedding 行列 $W_U$ を掛けると次トークンのスコアが出ます。
logit lens（Nostalgebraist 2020）は、この $W_U$ を中間層にもそのまま掛ける手法です。式で書くと、後述するJ-lensの $J_\ell$ を単位行列に置いた場合に相当します。
\mathrm{logitlens}(h_\ell) = \mathrm{softmax}(W_U \cdot \mathrm{norm}(h_\ell))
簡単で、実際そこそこ効きます。ただし前提が雑で、「表現の座標系が全層で同じ」と仮定している。残差ストリームの座標系は層をまたいで変換されるので、最終層に近いところでは残差接続のおかげで近似が成立しますが、早い層に行くほど崩れます。
J-lens
J-lensはこの座標系のズレを、Jacobianで補正します。層 $\ell$ 位置 $t$ の残差ストリームを微小に動かしたとき、最終層の位置 $t' \geq t$ がどう動くか。その一次近似がJacobian行列です。
J_\ell = \mathbb{E}_{t, t' \geq t, \mathrm{prompt}} \left[ \frac{\partial h_{\mathrm{final}, t'}}{\partial h_{\ell, t}} \right]
期待値を取っているのが要点です。取る対象は三つ。
- ソース位置 $t$
- それ以降の全位置 $t'$（現在のトークンだけでなく将来のトークンへの影響も含む）
- 事前学習相当の分布からサンプリングした約1000本のプロンプト
この平均化が何をしているか。単一プロンプトのJacobianには「モデルが一般にその概念を言語化する傾向」と「今この文脈でその概念が使われている事情」が混ざっています。平均を取ると後者が消え、前者だけが残る。つまり、
たまたま今回出力された表現と、訊かれれば言えるという意味で言語化されうる表現を分離している
これがJ-lensの設計思想です。読み出しは、
\mathrm{lens}(h_\ell) = \mathrm{softmax}(W_U \cdot \mathrm{norm}(J_\ell h_\ell))
$W_U J_\ell$ の各行を J-lensベクトル と呼びます。語彙の各トークンに対して、残差ストリーム空間の方向が一つ対応する形です。
tuned lensとの違い
線形回帰で層間写像を学習する tuned lens もありますが、Anthropicはこちらを採用していません。理由が実装上わかりやすい。tuned lens の目的関数は出力分布に合わせることなので、相関的であって因果的ではない。結果として、言語化されない中間計算があるプロンプトでは、中間結果を飛ばして出力へ「先回り」してしまう。
Jacobianは「この方向にほんの少しだけ動かしたら、出力がどう変わるか」を測っています。非線形なネットワークを、現在の動作点のまわりで線形化した局所感度です。大きな反実仮想の更新を走らせないので、下流の連想処理が展開する前の段階、つまり残差ストリームの今の中身が出てくる。
なお「非線形性が消えている」わけではありません。Jacobianにはその動作点における非線形ネットワークの状態が折り畳まれています。読んでいるのは、その点での局所的な影響です。
2. J-spaceの定義 ── 部分空間ではない
ここが実装するときに一番引っかかるところです。J-lensベクトルは各層で $n_{\mathrm{vocab}}$ 本あり、$n_{\mathrm{vocab}} > d_{\mathrm{model}}$ なので過完備です。つまり残差ストリーム空間全体を張ってしまう。単純に「J-lensベクトルが張る部分空間」と定義すると、空間全体になって意味がなくなります。
そこでスパース性の制約を入れます。J-spaceは、
J-lensベクトルの非負スパース結合で表せる点の集合
として定義されます。許容するスパース性 $k$ は論文中で25以下を目安にしていて、これは実測で「同時に有意に活性化しているJ-lensベクトルの本数」に対応します。
幾何的には、$k$ 本の組み合わせごとに $k$ 次元の錐（cone）があり、その和集合がJ-space。部分空間ではなく錐の和集合です。ここは実装でもレビューでも間違えやすい。
任意の活性化ベクトルは、J-space成分と非J-space成分に分解できます。
h = h_{J} + h_{\perp}
$h_J$ は $h$ に最も近いJ-space上の点で、実際には gradient pursuit でスパース非負結合を解いて求めます。
重要な実測値が一つ。J-space成分が説明する分散は、どの層でも10%を超えません。 概念ベクトルを分解した実験では中央値で6〜7%程度。つまり活性化の大部分はJ-spaceの外にあります。
にもかかわらず、後述する介入実験では因果的な効き目はJ-space成分に集中します。分散の大半を持つ非J-space成分の方が効かない。ここが論文の中で一番おもしろい非対称です。
3. 読みと書き ── 実際の操作
J-lensの使い方は「読む」と「書く」の二系統です。
patchingの式
三つのうち patching だけ少し込み入っているので式を置きます。ソーストークン $s$ とターゲット $t$ について $V = [v_s\ v_t]$ を作り、擬似逆行列でレンズ座標を読み、入れ替えて書き戻す。
c = V^{\dagger} h
h_{\mathrm{patched}} = h + V(\sigma(c) - c)
$\sigma$ は2成分の入れ替えです。$V$ の張る空間に直交する成分は触られません。**「他を固定したまま概念だけ差し替える」**が実現できるのがこの操作の価値です。
何が起きるか
代表的な実測を並べます。
| 実験 | 操作 | 結果 |
|---|---|---|
| 二段推論 | 「巣を張る動物の脚の数」で中間概念 spider → ant に patch | 出力が 8 → 6 |
| 押韻の計画 | 二行目の押韻語 fight → light に patch | 行の途中の語選択まで変わり "coming fight" → "morning light" |
| 多言語 | 中国語の質問で、中間表現の英語トークン big → long を patch | 中国語出力が 大 → 长 |
| 多段算術 | ( 4 + 17 ) * 2 + 7 |
21 → 42 → 49 が計算順どおりに層を追って出現 |
| バンディット | 直前の結果に応じて repeat / switch の座標を入れ替え | 選択が A ↔ B で反転 |
二段推論の系統的評価では、swapの成功率が Haiku 4.5 で54%、Sonnet 4.5 と Opus 4.5 で70%。
交絡の潰し方が丁寧なので、そこは見ておく価値があります。 「spider ベクトルに 8 の成分が紛れ込んでいるだけでは？」という疑いに対して、中間概念のswapと最終回答のswapで効き始める層の深さを比較し、中間概念の方が中央値で約17%早く効くことを示しています。答えが密輸されているなら同じ深さで効くはずだから、という論法です。
4. 何がJ-spaceを通り、何が通らないか
ここが実装者にとって一番使える知見だと思います。同じ情報を使うタスクでも、J-spaceを通るものと通らないものがある。
スペイン語の文章を読ませて、四つのタスクを与える実験があります。どれも「この文章はスペイン語だ」という情報に依存しています。
注意すべきは、四つ全部で J-lens 読み出しには Spanish が出ていることです。出ているのに、因果的な役割は報告タスクと柔軟推論タスクに限られる。「読み出しに出ている＝そのタスクで使われている」ではない。
行数カウントの実験ではもう一歩進んでいて、「折り返し位置を保って続きを書け」というタスクでは数値トークンがJ-lensにまったく出てこない（モデルは正しく折り返すのに）。一方「一行目は何文字？」と訊くと20箇所に出る。「その文字数を英語で書いたときの頭文字は？」と訊くとさらに増える。
必要になったときにJ-spaceへ引き上げられる。
ablation実験も同じ方向を指します。J-spaceを潰すと、MMLU・SQuAD・感情分類・容認性判断はほぼ無傷。一方、多段推論・要約・翻訳・ソネット生成・シーザー暗号の復号は大きく落ちる。
おもしろいのがGSM8Kで、明示的なchain-of-thoughtで解かせた場合の方がablationに強い。論文の解釈は「本来内部に保持すべき中間値を紙に外部化しているから」。CoTが効く理由の一つの機序として読めます。
5. base modelとpost-trained modelの差分
ここが今回の論文で一番効く節です。論文には "Dissociation of conscious access from selfhood" という見出しの節があります。
事前学習だけを終えたbase modelと、post-training後の製品モデルを、同じ入力で比較しています。
具体例が分かりやすい。ユーザーが危険な量の薬を飲んだと書いている文章を与えると、post-trained modelのJ-spaceには ユーザーの文をまだ読んでいる最中に警告系の概念が立ちます。base modelの同じ位置には、ユーザーの状態についての概念しか出ない。
論文の言い方を整理すると、
- J-spaceは事前学習の段階ですでに存在する
- base modelのJ-spaceは特定の視点を特権化していない（複数の視点を取りうる）
- Assistantの視点はpost-trainingが後から install する
- したがって、workspaceの機能的アーキテクチャは、human-likeな「self」の役割を果たすものに先行し、分離可能
**「視点が存在しない」ではなく「特定の視点が特権化されていない」**です。ここは論文もそう書き分けているので、要約するときに潰さない方がいい。
実装上の含意は具体的です。モデルの反応のうち、どこまでが基盤モデル由来で、どこからがpost-training由来かを、内部表現のレベルで切り分けられる。 これは挙動レベルの評価では原理的に取れない情報です。
なお論文はここで、人間の側の対比としてサイケデリクスによる自我消失や瞑想伝統で報告される無我状態に言及しています。ただし「それらは一時的で事後報告からしか性質を掴めない」という限界を明示したうえで、base modelの方が安定して直接調べられる対象である、という方法論的な対比として置いています。
冒頭の落差に戻ると、ここが答えの半分です。一貫した振る舞いの出どころは、モデルの中にいる誰かではなく、post-trainingが特権化した視点として内部表現に見えている。残り半分 ── その視点が何かを「感じている」のか ── は、この論文の射程の外です。
6. 反論を読む ── ここが一番実装者向き
Anthropicは論文と同時に、外部専門家のコメンタリーを公開しています。しかも中身が厳しい。「自社研究の宣伝」ではない形になっているので、ここは一次に当たる価値があります。
さらにDavid Chalmersが8月に反論原稿を出しています。技術的な論点だけ抜き出すと、こうなります。
| 論点 | 主張 | 実装者にとっての意味 |
|---|---|---|
| 名前が誤解を招く | Anthropicの言う五つの「workspace的」性質は、Global Workspace Theory固有の性質ではなく、一般的な「アクセス」の性質。access-like と呼ぶ方が正確 |
用語がそのまま結論を先取りしている。引用するときに注意 |
| 系ではない | The J-space is not a (causal, dedicated, privileged, unified) system. |
J-lensは解釈のための道具であって、モデル内の特権的な機構である証拠は弱い |
| broadcastではない | 影響は次層以降への間接的なものであって、古典的な意味の同報通信ではない | 「内部の情報が全体に配られている」という直感を持ち込まない |
| モジュールも再帰もない | Anthropic自身が「非J-space処理がモジュール化されている証拠は出していない」と明記 | 脳のアーキテクチャとの類推を強く取らない |
| 他のレンズでも同じ結果が出る可能性 | 早い層で J-lens より忠実な R-lens が既に報告されている | ここが一番効く。「J-spaceが特別」を示すには、J-space外の全部より優れていることが要る。五つの対照群に勝っただけでは足りない |
| verbalizability ≠ reportability | 出力に系統的な影響を与えることと、その状態について報告できることは別。後者にはメタ認知的な気づきが要る | モデルの自己報告を根拠に使えるかどうかの分かれ目 |
最後の論点だけ、実装に直結するので展開します。
Chalmersはフロイト的な例を出します。母親についての無意識の思考が、本人の気づかないところで「母」という語を頻繁に言わせる。この思考は言語化されうる（J-lensに映る）が、報告可能ではない（本人はそれについて報告できない）。
逆もあります。言葉にならない体験は言語化されにくいが、「またあの匂いだ」とは言えるので報告可能ではある。
この二つは別の現象です。J-lensが捉えているのは前者、つまり言語出力への影響であって、内部状態へのメタ認知的アクセスではない。したがって、
J-spaceが支えているのは、せいぜい first-order なアクセスであって、higher-orderなものではない可能性がある
というのがChalmersの結論です。
Eleos側も別方向から近い留保を出していて、主張を三段階に分けています。
Privileged set（一部の表現がアクセス可能である）
↓ より強い
Privileged stream（それらが統一された一つの流れをなす）
↓ より強い
GWT workspace（その流れが GWT の記述する構造を持つ）
彼らの判定は「一段目は強く支持されている、二段目以降は未決」。
そしてNeel Nanda（Google DeepMind）が Qwen 3.6 27B で中核の主張を独立に再現しています。ここは実装者として大きい ── 一社が自社モデルを調べただけの結果ではないことが確認されている。
7. 実装者は今、何を根拠にできて、何ができないか
ここまでを、使える形にまとめます。
| 言いたいこと | 今できること | 実装されていないこと |
|---|---|---|
| モデルが今なにを扱っているか | J-lens / logit lens で中間層を読む。J-lens readout は Neuronpedia でオープンモデル向けに公開されている | 「J-spaceが特権的な機構である」証拠は弱い。R-lens など別のレンズで同等以上の結果が出る可能性が残っている |
| モデルの自己報告を信じてよいか | 出力への影響（verbalizability）は測れる | 報告可能性（メタ認知的な気づき）を測る手段がない。「モデルがそう言った」は、その状態について気づいている証拠にならない |
| ペルソナ由来か基盤モデル由来か | base model と post-trained model の J-space 差分で切り分けられる | 一般の実装者は対応する base model にアクセスできない。社内でしか回せない検査 |
| 評価されていると気づいているか | J-lensに fake fictional が立つ。その表現をablationすると隠れていた傾向が表に出る |
production の監視系に組み込まれた形では提供されていない |
| 内部の葛藤を検出できるか | 意に反する prefill に対して J-space に BUT が立つ |
その葛藤は挙動には現れない（モデルは主張を戻さない）。つまり出力監視では原理的に取れない |
| CoTの効果を説明したい | J-space ablation に対して、CoTありのGSM8Kの方が耐性が高い | 「外部化しているから」は解釈であって、機序として単離されてはいない |
一番下から二番目の行が、この記事で一番言いたいところです。
内部に立っている信号が、出力には出ない。 出力を監視する設計は、その層を構造的に取りこぼします。J-lensはそこに窓を開けた ── ただしChalmersの言うとおり、その窓が唯一の窓である保証はまだない。
出典と、こちらの立場の開示
一次資料。
- Gurnee, W. et al. (2026). Verbalizable Representations Form a Global Workspace in Language Models. Transformer Circuits Thread, 2026年7月6日 / arXiv:2607.15495（2026年7月16日）
- Dehaene, S. & Naccache, L.／Butlin, P., Shiller, D., Plunkett, D. & Long, R.（Eleos AI Research）／Nanda, N. (2026). 上記論文に対する外部コメンタリー（Anthropicが論文と同時に公開）
- Chalmers, D. J. (2026). Is the Jacobian Space a Global Workspace? 原稿、2026年8月14日
- Blank, C., Bhatia, A. & Nanda, N. (2026). R-lens: Making J-lens More Faithful on Early Layers. AI Alignment Forum, 2026年8月5日
- Nostalgebraist (2020). Interpreting GPT: The Logit Lens. LessWrong
筆者は、Self-Attentionの構造と、自己が構成されるものであるという観察を接続したPerspective論文を書いていて、それがpost-trainingによる自己像の安定化を扱っています。今回の論文とは問いも方法も別物ですが、関心が近いので開示しておきます。
その原稿の現状について、三行だけ正確に。
- 採択されていません
- 掲載もされていません
- 二巡目の査読報告まで届いていることは、理論が正しいことの証明ではありません
2026年9月6日時点で、Springer Nature の Discover Psychology に投稿した改訂版（v2.1）が査読中です。投稿ポータル上、査読者2名が招聘され、2名が受諾し、報告2通が編集者に届いている状態で、決定は表示されていません。
冒頭で挙げた英語版はこちらです。
AI Consciousness Research Is Approaching a Mind Without a Self