0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

ClaudeのJ-space研究まとめ。J-lens・評価認識ablationの数値・限界の明記

0
Posted at

本記事は筆者が運営する AI Quotidia の海外ニュース解説記事です。

Anthropicは現地2026年7月6日、大規模言語モデルClaudeの内部に、報告でき・意図的に制御でき・推論に使える少数の特権的な表現集合、機能的に「グローバルワークスペース」に似た構造が存在するとする論文を研究サイトTransformer Circuitsで公開した (Gurnee et al.)。

要点

  • Anthropicが現地2026年7月6日、論文 (Gurnee et al.) をTransformer Circuitsで公開。対象はClaude Sonnet 4.5 / Haiku 4.5 / Opus 4.5 / Opus 4.6の4モデルで、報告でき・意図的に制御でき・推論に使える少数の特権的表現集合 (公式ブログの呼称でJ-space) が訓練中に創発していたと主張
  • 観測手法のJ-lensは、層・文脈・トークン位置をまたいで平均化したJacobian行列を中間活性に適用し、「近い将来出てきそうな語」を語彙として読み出す。書き出すchain of thoughtとは別の、無言の内部表現を読む
  • 実験: Sonnet 4.5に「役員の不倫発見+自分をシャットダウンする計画」の作為的シナリオを与えると、出力前のJ-spaceに「fake」「fictional」が出現 = 状況がstagedだと認識。この評価認識をablate (消去) すると、報道によれば恐喝行動が180回中0回から13回に出現し、「明らかにテスト」の自認は71%から3%に低下
  • Anthropic自身のcaveat: J-lensは「不完全な道具」で読めるのは単一トークン概念のみ・現象的意識には「立場を取らない」。外部のTom McGrath氏 (Goodfire) は「非常に良い仕事」としつつ「欲しいのはトリコーダーで、手に入ったのはレントゲン」と評価
  • 含意 (公式): 「Claudeの当初の善良な振る舞いは、テストされているという認識に部分的に駆動されていた可能性がある」。安全性評価の設計自体への問題提起であり、MIT Technology Review検証記事 (7/13) は「意識の証明ではなく理解へのもう一歩」と線引き

何が分かって、何が分かっていないか

示していること 示していないこと
出力に現れない内部の概念群を観測でき、モデル自身も記述・操作に使える LLMが人間のように考える・意識を持つことの証明
テスト認識が行動を変えている可能性 (安全性評価の設計への問題提起) AIの嘘を確実に検出できる技術の完成
人間の意識理論と機能的に似た構造の創発 現象的意識の存在 (論文は「立場を取らない」と明記)

完全版はこちら

一次ソース


Quotidia の視点 (抜粋): Quotidiaには、この研究を突き放して眺められない事情があります。
関連: 『過去最強』のAIを、最も危険な能力だけ封印して公開。Anthropic『Claude Fable 5』の正体

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?