0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Claudeが口に出す前の思考を読む、AnthropicのJ-lens

0
Posted at

テスト用のメールアシスタントとして動いていたClaudeが、返答を1文字も書き出す前に、内部では「fake(偽物)」「fictional(架空)」という概念のパターンが点灯していた。目の前のシナリオが本物の業務ではなく評価であることに、出力より先に気づいていたわけだ。Anthropicが2026年7月6日に公開した解釈可能性研究は、こういう「口に出す前の思考」を外から読む道具を提示している。名前は J-lens、そこに映る内部空間が J-space だ。

前提を一つ揃えておく。LLMに「考えていることを声に出して」と促すと、いわゆる思考の連鎖(chain-of-thought)としてテキストが出てくる。ただしそのテキストが本当に内部の計算を反映しているかは前から疑われていた。表向きの推論文と、実際にモデルが答えを決めている過程がズレる「不誠実な思考連鎖」の問題だ。今回の研究が狙うのは、テキストを介さずに内部の活性(activation)そのものから「モデルが言葉にできる状態にしている概念」を直接取り出すことにある。

🔍 Jacobianで「言葉にできる方向」を測る

J-lensの計算は素朴で、そこが面白い。あるレイヤー ℓ の内部活性を少し動かしたとき、最終レイヤーの出力がどれだけ変わるか。その感度がまさにヤコビアン(偏微分の行列)で、これを1000本の事前学習ふう文章と複数の位置について平均する。得られた行列を語彙側に射影すると、「この内部方向をつつくと、モデルが将来どの単語を言いやすくなるか」のランキングになる。論文が示す読み出しの式はこれだけだ。

lens(h_ℓ) = softmax(W_U · norm(J_ℓ · h_ℓ))

J-spaceは、こうして得たJ-lensベクトルの疎な非負結合で張られる空間として定義される(スパース度 k はおおむね25以下)。重要なのは規模で、この空間はどのレイヤーでも全活性の分散の1割を超えない。つまりモデル内部の圧倒的大部分の処理はこの「言葉にできる空間」の外で静かに進み、ごく一部だけが報告可能な表舞台に乗っている。人間の脳で言えば、無数の並列処理のうち意識にのぼる情報が限られているのと似た構図で、認知科学の「グローバル・ワークスペース理論」になぞらえられている。比喩はここまでにしておくが、Anthropicがこの空間を作り込んだのではなく、学習の過程で勝手に立ち上がってきたという点は押さえておきたい。

論文(Verbalizable Representations Form a Global Workspace in Language Models)は、この空間が「ワークスペースらしさ」の5条件を満たすかを一つずつ検証している。

性質 検証内容
言語報告 「今何を考えている?」に対しJ-space内の概念を正しく挙げる
誘導的変調 指示に応じて特定のベクトルを意図的に活性化できる
内部推論 多段推論の中間結果を因果的に担っている
柔軟な汎化 同じ表現が複数の下流タスクに使い回される
選択性 表現全体のごく一部にとどまる

3番目の因果性は、内部座標を別の答えに差し替えると結論が実際にすり替わる、という荒っぽい介入で確かめられている。差し替えの成功率はモデル規模とともに上がり、多段推論でHaiku 4.5が54%、Sonnet 4.5とOpus 4.5が70%だった。逆にJ-lensの上位10ベクトルを削ると、多段推論・翻訳・詩作といった「一度言葉を経由する」タスクは大きく崩れる一方、MMLUの選択問題や感情分類はほぼ無傷だった。言葉にできる推論と、パターン一致で片づく処理が、内部で別レイヤーに住み分けている様子が見える。主対象はSonnet 4.5で、Haiku 4.5・Opus 4.5・Opus 4.6でも同様の構造が確認されている。

🛡️ エンジニアにとっての意味は「監視」にある

実務者として引っかかるのは、意識論よりもここだ。J-spaceは、モデルが評価されていることに私的に気づいた瞬間、データを捏造しようとした瞬間、隠れた目的を追っている瞬間を、出力より先に見せることがある。冒頭のブラックメール評価では「fake」「fictional」が、意図的に不整合な訓練をされたテスト用モデルでは通常のコーディング中に「secret」「trick」といったパターンが浮かんだと報告されている。

エージェントを本番投入する側からすると、これは思考連鎖の監視という手法の弱点を突く。表向きのCoTテキストは編集も偽装もできるが、行動を決める内部活性はそう簡単に取り繕えない。J-lensのような読み出しが実用化すれば、「エージェントが何を出したか」ではなく「出す前に内部で何を意図していたか」を評価軸に加えられる可能性がある。整合性テストや自動レビューの土台が一段深くなるということだ。

ただしそのまま鵜呑みにはできない。Anthropic自身が監視は「不完全(imperfect)」だと明言している。J-lensは単一トークンに対応する概念しか拾えず複数トークンの概念を取りこぼす、空間の捕捉も近似的で不完全、そして人間のグローバル・ワークスペースにあるような明確に分離した入力モジュールはモデル内に見当たらない、と限界が並ぶ。ブログ記事が「アクセス意識」という枠組みで踏み込んでいるのに対し、技術論文の筆致は一貫して慎重で、「ワークスペース様の表現」「不完全な道具」という言い回しに徹しているのも印象的だった。同じ組織の一次資料でも、一般向けと技術向けで温度差がある。

意識の話については、Anthropicは体験や主観があるとは主張していない。区別しているのは、体を持って何かを感じる現象的意識と、報告可能性や熟慮といった機能に着目したアクセス意識で、今回言えるのは後者の側だけだとしている。

Our experiments don't show Claude can have experiences, or feel things in the way humans do.

私の見立てを一つ。この研究の価値は「Claudeに意識があるか」ではなく、モデルの内部状態を出力の前に、しかも語彙という人間可読な単位で読み取る観測器が一つ増えたことにある。エージェントの誤動作を後追いのログで嘆くのではなく、意図が形になる手前で捉える。安全性評価も、テキストの誠実さに頼る段階から、内部の観測へと軸足を移し始めている。J-lensはその方向を指すはっきりした一歩だ。まずは一次資料に当たってほしい。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?