ログに残るのは、出力までである
たとえば、変更管理のレビューで、生成AIが「この修正は、過去の障害を再発させやすい」と返したとします。
差分、モデルの版、出力文はログに残せます。その文が、内部のどの特徴の組み合わせから出たかは、残らないことが多いです。
従来のプログラムなら、条件と分岐を人が書きます。障害のあと、ソースとログを追えば、どの判定を通ったかを調べられます。ニューラルネットワークでは、開発者が書くのは学習の手順とモデルの構造です。個々の判断条件は、学習でできたパラメータの中にあります。
この差を、AIのブラックボックスと呼びます。出力は見えても、内部の計算をそこから特定しにくい状態です。永遠に読めない、と原理で決めた言葉とは別です。現場では長く、読めない前提で扱われてきました。
その前提を、有名な画像ニューロンから問い直した文章が、2026年10月に出ています。Goodfireのニック・カマラタによるエッセイ Neural Networks Are Already Clean です。MIT Technology Reviewは、約26,000語のブログ記事だと伝えています。形式は査読前のエッセイで、技術的な続報はこれからです。
カマラタは、OpenAI在籍時に内部をニューロン単位で見る手法を進めた1人で、2020年の Zoom In: An Introduction to Circuits の共著者です。今回の文章は、自分が広める側にいた説明を、読み直しています。主張は強いものです。ニューロンを別の表現に分解する前から、ネットワークはかなり読める、と書いています。
範囲も、本人が限っています。10月19日の取材記事 “We were looking at it wrong”: The explosive claim that’s upended the AI world では、「無限に良い知らせではなく、すべてが解決したわけでもない」と述べています。品質保証に持ち帰るなら、強い見出しと、この留保をセットで見ます。次に見るのは、猫と車のニューロンです。
猫と車は、「読めない」の例になっていた
そのニューロンは、2014年の画像認識モデル Inception v1 の 4e:55 です。モデルの論文は Going Deeper with Convolutions です。猫の顔と、車の前部の両方に反応するように見えました。2017年の Feature Visualization から Zoom In まで、分野の文章で繰り返し引用されています。Zoom Inでは、車と猫の顔の共通点に反応しているわけではない、と書かれています。
なぜ、1つの反応が「読めない」の例になるのか。ニューラルネットワークの計算自体は単純だからです。各ニューロンは、入力に重みを掛けて足し、活性化関数を通して次へ渡します。難しいのは、その単純な計算が膨大なパラメータと層を通り、意味が学習でできることです。ソースを全行読めることと、システムの振る舞いを説明できることは、別問題です。
初期の観察では、顔や建物に反応するニューロンが知られていました。ニューロンを見れば、モデルの見ているものが分かる、という期待です。4e:55 は、その期待を崩す例として扱われました。人から見て別の対象に、同じニューロンが反応する。この状態を、多義性（polysemanticity）と呼びます。
説明として有力だったのが、重ね合わせ（superposition）です。Zoom Inの説明では、回路は限られたニューロンに、より多くの特徴を載せようとします。1つの特徴を、複数のニューロンへ広げる。一緒に現れにくい特徴なら、同じニューロンを共有しても干渉しにくい、という考えです。2022年の Toy Models of Superposition は、これを小さなモデルで示し、特徴の数が次元の数より多い状況として定式化しました。
この見方が広がると、ニューロンを直接見ても、意味の単位は取り出しにくい、という前提になります。研究の多くは、スパースオートエンコーダのように、別のモデルで表現を分けてから中身を調べる方向へ進みました。
データベースの1カラムに、1つの意味が書いてある状態とは違います。内部の1つの座標が、人の言葉の1項目に対応するとは限りません。では、猫と車は、モデルにとっても無関係だったのでしょうか。カマラタが戻ったのは、この問いです。
共通の形を探すと、V字に見えた
以前の問いは、関係のない2つの概念が、なぜ同じニューロンにあるのか、でした。今回の問いは、画像として両方に共通するパターンがあるのではないか、です。
彼の答えは、V字です。猫の顔や、横から見た車の前部に、尖った形が出る、と説明しています。エッセイでは、接続先にV字の炎、消防艇の放水、キツネの顔があると書いています。反応を下げる側は、尖りの反対である丸いOだ、とも書いています。新幹線やビリヤード台は、共通パターンかを試す例として挙げています。MITの取材では、ビリヤード台の角、新幹線の先頭、消防艇の放水でも反応を見たと本人が話しています。この気づきについては、同じ画像を見ていて、手法は変えていない、という説明です。
ここで技術者が持ち帰るのは、猫や車というラベルが、ニューロンの仕事そのものだとは限らない、という点です。人の分類は、仮説です。仮説は、別の画像や、形を変えた入力で確かめます。
ただ、V字は一例の読み直しです。エッセイは、そこからモデル全体へ話を広げます。Inception v1 の後半が読みにくかった主因について、重ね合わせだったという説明を退けています。構造上の問題と、観察ツールの弱さだった、と書いています。最初にこのモデルを調べたとき、最終層で読み取れるニューロンはほとんどなかった、ともあります。
続く99〜100%は、その最初の調査の数字ではありません。学習し直したモデルの最終層が読み取りやすい、という本人の報告です。大きさと学習データは変えず、深い層が学習しやすい通常の構造変更を加えています。本人は、自明でないネットワークとして、おおむね理解できた最初のモデルだと述べています。300倍の規模の範囲で学習し直しても、おおむね読めた、とも書いています。小さいときは、無関係なものを1つに畳まず、車なら車全般のような粗い概念を1つのニューロンが担う、という説明です。
言語モデルにも、予備的な監査として数字があります。Qwen3-32Bでは、ニューロンの正負を分けた極のおおよそ90%が主な仕事を1つ持ち、約7%が関連する2つの仕事を持ち、まだ理解できないものは約2〜4%だった、としています。割合は、「1つのこと」をどこで区切るかで変わると、本人が注記しています。1兆パラメータ級のKimi K3でも似た結果だったと書き、詳細は続報の論文に回しています。同じ文章で、この規模の包括的な監査はまだ始めていない、とも書いています。フロンティアの言語モデルは規模が大きく、解決までには距離がある、ともあります。
数字のあとで、解析の手段も変わっています。エッセイでは、AIエージェントに帰属グラフを10万本見させています。どの内部要素が出力に効いたかをたどる図です。本人は、画像モデルと言語モデルで数千本を確認した、とあります。異常に見えたものは、多くの場合、まだ気づいていなかった繰り返しの型だった、という定性的な報告です。読みやすさの点数にはしない、とも書いています。人が視覚モデルに約10年かけた調査を、フロンティアの言語モデルでは数か月で進められるかもしれない、と見ています。これは見通しです。工期の測定値として引用できる数字は、エッセイにありません。
会議に出てきやすいのは、V字、99〜100%、約90%、10万本です。このV字が実験に合うかは、公開の翌週に別の研究者が確かめています。99〜100%と約90%は、本人が付けた条件を外すと意味が変わります。10万本は見た件数で、正しさの点数ではありません。
V字という説明は、実験と食い違っている
公開のあと、評価は割れました。争点は2つです。V字が実験に合うか。重ね合わせを否定したと言えるか。
10月20日、研究者のリブ・ゴートンは Some initial thoughts on Nick Cammarata's "Neural Networks Are Already Clean" で、4e:55を既存の実験で確認したと書いています。週末に急いで書いた予備的なメモだと、本人が断っています。その範囲での報告は、こうです。
活性化が強い画像の上位は、尖った形というより動物の顔に寄っています。短い鼻の猫や犬もあり、V字とは呼びにくい。合成したV字への反応は最大の約25%で、同じ層の数百のニューロンと差がつかない。V字を丸めても、反応は特に下がらない。前の層にあるV字向けのニューロンを無効化しても、4e:55の下がり方は、無作為に無効化した場合と同程度だった、とあります。基本的な実験でも、エッセイの記述と結果がずれた、とも書いています。
カマラタは、このメモへの確認として、1文字で表す説明は単純化しすぎている、と述べています。関心は、合成データにぴったり合う説明より、無関係なものの混合物かどうかだった、とも補足しています。4e:55の追加調査を出す予定だ、とゴートンの文章に記されています。V字は、閉じた結論ではなく、検証の途中にある説明です。
2点目は、言葉の定義です。ゴートンは、エッセイが否定しているのは、「めったに衝突しない無関係なものを、同じニューロンへ詰める」という説明だ、と指摘しています。Zoom InやToy Modelsが重ね合わせと呼ぶのは、別の計算です。特徴が次元より多く、1つの特徴が複数のニューロンに広がる、という話です。関連したものが同じニューロンに入っていても、そちらの重ね合わせが消えたことにはなりません。条件によっては、理論の側が、関連した特徴どうしの重なりを予測します。
会議で「2026年10月に重ね合わせは否定された」と出たら、どの定義の話かを聞きます。定義がずれていると、内部はそのまま読める、という結論まで飛んでしまいます。
大規模言語モデルの全体についても、範囲を切る発言が出ています。次は、MITの記事が伝える範囲です。
Google DeepMindのニール・ナンダは、「興味深い仕事だが、解釈可能性の全体像を大きく更新するものではない」と書いています。個々のニューロンの理解が、特定のモデルの誤動作を調べる役に立つことには同意しています。解釈可能性が解決した、という推論には同意していません。
Alignment Research Centerのジェイコブ・ヒルトンは、最上位の大規模言語モデルの内部のうち、理解できているのは0.01%未満だ、と書いています。ニューロン1つの意味の先に、ニューロン同士のつながりがある、という指摘です。このつながりは、後で触れる回路です。公開の印象が、分野の現状より楽観に見える、とも述べています。ヒルトンは、過去にカマラタと共同研究をしています。
スタンフォード大学のクリス・ポッツは、数千の例を見たことは評価しつつ、例の多さは厳密な評価の代わりにならない、と述べています。
カマラタ自身も、ニューロンを1つずつ理解することと、組み合わせがどれだけ効くかは、別の未解決問題だと話しています。有名な反例の読み直しは提案されました。その読み直しは、定義と実験の検証の途中にあります。
現場では、確認の段を分ける
ここまでの研究を、変更管理のログに戻します。出力が残っていること、入力を動かせること、内部の経路を追うことは、別の確認です。3つは役割が違います。1段が合格でも、他の段は別に見ます。
入出力テストは、再現の記録である
決まった質問を渡し、正答、一貫性、危険な出力の有無を見ます。問題の再現には向きます。合格は、その質問集で再現できた記録です。内部の処理が適切だったかは、別の実験で見ます。質問集での一致は、たまたま揃っていることがあります。
入力を変える実験と、モデルの自己説明は別である
たとえば審査なら、収入や負債のように、入力の項目を変えて出力の変化を見ます。どの入力が判断に効いたかの推定には使えます。モデル内部のどの計算が、その出力を生んだかまでは、直接は分かりません。説明可能AI（XAI）と呼ばれる手法の多くは、この位置にあります。
生成AIに「なぜそう判断したか」を書かせる手順は、入力を変える実験とは違います。あとに生成された文章は、内部の計算記録とは別です。たとえば、「信用リスクが高いのは負債比率のためです」と出力しても、内部で負債比率がどの程度効いたかは、その文だけでは確定しません。冒頭の変更管理でも同じです。「再発させやすい」という文が、内部のどの特徴から出たかは、その説明文には書いてありません。
出力の正しさを、モデルの自己説明に置かない原則は、「LLMに任せきり」が危ない理由——数学が示す限界と、設計で補う3つの原則 にあります。自己説明と、内部の計算を追う調査は、別の作業です。
反応の観察と、原因の特定は別である
機械論的解釈可能性（mechanistic interpretability）は、ニューロン、重み、情報の経路を調べ、特定の出力が生まれる計算を説明しようとする研究です。反応を見たことと、そのニューロンがその出力の原因だと示したことは、別です。後者には、内部を変えるか、一部を無効にして、出力が変わるかを見る実験が要ります。
エッセイは、その種の実験にも触れています。詳細の多くは続報の論文待ちです。4e:55 については、前の節のとおり、再現の報告がすでにずれています。回路に付いたラベルを監査の証拠にするには、再現と、無効化のような介入が別に要ります。
研究コミュニティは、機能に関わる計算のまとまりを回路（circuit）と呼びます。学習でできた経路です。人が設計時に配線した電子回路とは、別のものです。カマラタは、一部の回路は詳細に追えたと述べています。ヒルトンが指摘したとおり、ニューロン1つの意味が分かっても、経路の組み合わせは残ります。業務システムでも、全体を説明するには、呼び出し、状態、外部との接続が要ります。ニューラルネットワークでも、同じ不足が起きます。
解析用のエージェントも、この段に入ります。反応する入力の収集、共通点の候補、検証実験、仮説の修正を、人より広く回せます。エッセイが10万本の図を見させたのは、この作業です。「このニューロンはV字です」という自動の説明を、変更審査の根拠にするなら、手順と、反証の実験がセットで要ります。
確認の3段のあとにも、直すことと、止めることが残ります。
1か所を直しても、他の機能に及ぶ
いま多い対応は、プロンプト、入力、モデルの切り替え、追加学習です。内部のどの経路が誤りに関与したかは、分からないまま終わることがあります。解釈が進めば、経路の特定が調査の精度を上げる可能性はあります。
特定できても、そのニューロンだけを変えてよいかは、別の検証です。他の機能へ影響が及ぶことがあります。経路が分かることと、安全に修正できることは、別の仕事です。
読めても、権限と停止は外に置く
AIエージェントが、障害情報を分析したあと、設定変更や復旧まで実行する構成では、誤りの影響がシステムに届きます。内部の危険な特徴を検出する研究が進んでも、権限の設計は残ります。触ってよい操作、承認、ネットワーク、実行環境の分離、監査ログ、停止、戻しは、モデルの外側の問題です。内部を細かく読めても、外部の道具との組み合わせで、想定外の結果は起きます。
モデルの周囲で制御する設計は、エージェンティックAI時代のセキュリティは防御から統制へ——「動くAI」を止めずに制御する設計へ にあります。内部が読めるようになっても、その設計は残ります。
読めた範囲と、任せてよい範囲は別である
経路の説明がついても、出力の正しさは別の確認です。学習データが偏っていれば、経路が分かったあとも、判断は不適切になりえます。個々の判断が妥当でも、エージェントがつなぐ処理の全体には、別の危険が残ります。プログラムが読めることと、システムの安全性が別なのと同じです。
確認は5つに分かれます。出力が正しいか。これが正確性です。条件が変わっても、期待する動作が続くか。これが安定性です。
なぜその判断になったかを、内部から説明できるか。これが解釈可能性です。危険な操作を止められるかが安全性で、止めて、制限して、修正できるかが統制可能性です。
今回のエッセイが直接動かすのは、このうち解釈可能性の見通しです。安全性や統制に効く可能性はあります。残りの4つは、それぞれ別の確認が要ります。
採用前に、この3つを分ける
その確認を、採用の前の作業にすると、3つに分かれます。
永遠に不能とも、もう解決とも言わない
現在のモデルは、内部を十分には説明できていません。説明が足りないことと、原理として説明不能であることは、別です。カマラタのエッセイは、この区別を再び表に出しました。監査の手順は、対象のモデルと実験の範囲ごとに、まだ組み立ての途中です。
前に見た数字を、条件なしでは引用しません。99〜100%は、構造を変えて学習し直したモデルについて、本人が述べた数字です。約90%は、Qwen3-32Bの予備的な監査です。0.01%未満は、ヒルトンの見積もりです。独立した論文が、これらを確定値として出した段階には、まだありません。引用するなら、モデル、層、学習し直したか、何を1つの仕事と数えたか、をセットにします。
理由欄に、モデルの文章だけを残さない
出力が自然であることは、内容の正しさを保証しません。モデルが理由を文章で述べても、内部の計算と一致するとは限りません。入力、外部の事実、評価用のテスト、必要なら別経路の確認を残します。
試すなら、大きい刷新は要りません。今月、AIの判断を採用した記録を1件選び、理由欄を見ます。そこがモデルの自己説明だけなら、外部の事実か、入力を変えたときの出力の変化を、1行書き足せるかを確認します。書き足せない記録は、まだ採用の根拠が足りません。
可視化の説明には、介入があるかを聞く
どのデータに触れるか。どの外部システムを操作できるか。誤った判断の影響はどこまで届くか。止める人は誰か。これらは、アーキテクチャとセキュリティの問題です。内部解析が進んでも、これまでの品質保証と同じ設計に載ります。
ベンダーが内部を可視化できると言うなら、4つを聞きます。対象のモデルは何か。どの層か。ニューロンを無効にするなど、出力が変わる実験はあるか。エッセイ以外の技術論文はあるか。答えが、ニューロンにラベルが付いている、だけなら、それは観察です。原因の特定は、無効化や入力の変更で出力が変わるところから始まります。
どの部分を、どの手順で、どこまで説明できたか。2026年10月の議論が残したのは、この問いです。確認の単位は、対象のモデル、使った実験、説明できた範囲です。
作成日: 2026-10-26