📌 この短稿の正本は完全版 #37 です。
数値・統計・実験設計を含む canonical はこちら → https://qiita.com/furuse-kazufumi/items/6f44575d440a9ebf5228
このページは、関連ニュース節と EN / 中文 / 한국어 への導線を残した companion として維持します。
🌐 English / 中文 / 한국어 の読者へ: このアークのやさしい解説は各言語の「かみくだき総集編」にあります → English / 中文 / 한국어
📗 これは 完全版 (#37) のかみくだき版です。数式と細かい証拠は完全版に。ここでは「結局なにが起きたの?」を 10 分で掴めるようにします。むずかしい用語が出てきたら、すぐ日常のたとえに言い換えます。
1 分version: なにが起きたか
2026 年 6 月 6 日。人間がパソコンに向かって出した実験指示は、たった 4 文でした。「実験を投入して」「対照実験も」「次の実験を進めて」「投入して」。
それを受けた AI が、実験を設計し、自分の書いたコードを別の AI 3 体に攻撃させて欠陥を 5 件直し、無料の GPU(Kaggle というサイトの無料枠)に実験を 3 連投し、結果を回収して統計判定し、論文の下書きに章を 1 個書き足しました。かかったお金は 0 円。
で、その実験が何を測ったかというと — 「AI に安全柵を付けると、性能はいくら下がるのか」。実はこれ、いま世界の AI 業界で一番ホットな論争のミニチュア版なんです。
🗒️ 「シンギュラリティ……」— 大仰なお題目を、$0 の小さな実験で“測れる数字”に落とした回。（© Forbidden shibukawa / SHUEISHA・スナックバス江）
もう 3 分だけ: 「実験 3 本」の中身はこうだった
「3 本回した」と言っても、ただ同じ学習を 3 回流したわけではありません。今回やったのは、役割の違う 3 種の問い です。
1 本目: HD-1 full — 回路を大きくしていくと、どこで暴走するか
まずは、記憶回路の次元を 8 / 32 / 64 / 128 / 256 と順に大きくしながら、勾配学習と進化の両方を回しました。見るのは 1 つだけです。
- 安全柵なしで学習すると、回路は安定領域に留まるのか
- それとも、次元が上がるほど外へはみ出すのか
ここで大事なのは、「賢くなるか」より前に 「そもそも回路がハウリングしないか」 を見ていることです。建物で言えば、内装の豪華さより先に「柱が揺れ始めないか」を測っている。
2 本目: HD-1 null — その暴走は“賢くなるため”なのか
1 本目だけだと、「でも危ない側へ出るからこそ賢くなれるのでは?」という反論が残ります。そこで 2 本目では、学ぶ意味が何もないシャッフル・データを同じ回路に食べさせました。
- 本物の文章でも暴走する
- デタラメな文章でも暴走する
もし後者でも同じことが起きるなら、それは「知能の代償」ではなく ただの幾何的な drift です。ここが今回かなり効いていて、議論を「ロマン」ではなく「対照実験あり」に変えています。
3 本目: Stage-B — 本物の Transformer で、安全柵の値段を測る
最後はもっと実務に寄せて、2 層のミニ Transformer に証明付き記憶を埋め込みました。ただし attention は 8 文字先までしか見えない近視にしてあります。遠い文脈を読むには、記憶回路を通るしかない。
ここで 4 条件を比較しました。
-
pure: そもそも記憶回路なし -
none: 記憶回路あり、柵なし -
project: はみ出したら滑らかに押し戻す -
reject: はみ出したら直前まで巻き戻す
この 3 本で、ようやく問いが閉じます。
- 放っておくと本当に暴走するのか
- それは賢くなるためなのか
- 本物のモデルに柵を入れたとき、値段はどこで発生するのか
だから今回は「実験 3 本」だったわけです。似た実験を 3 回したのでなく、反論を 1 本ずつ潰す 3 手でした。
AI は裏で何を自走したのか — PoC の量はわりと多い
今回の驚きは、結果だけではありません。人間が 4 文しか言っていないのに、AI 側ではかなりの PoC 作業が走っていることです。
ざっくり並べると、裏ではこうです。
- 実験計画を立てる
- 先に「何が通れば合格か」を事前登録する
- 自分のコードを別の AI 3 体に攻撃させる
- 見つかった major 5 件を直す
- Kaggle の無料 T4 にジョブを投げる
- 落ちた run を監視し、成果物 JSON を回収する
- 数値を再計算し、論文の表と本文に差し戻す
特に「アルゴリズムの PoC」をやっていたのは Stage-B 前です。たとえば敵対レビューでは、float32 の sigmoid 飽和で decay が 1.0 に張り付き、証明可能領域が空集合になるという、かなり嫌な欠陥が実際に出ました。安全柵を語っているコードの中に、「そもそも押し戻す先が存在しない」パターンが潜んでいたわけです。ここは PoC してみないと出ません。
Kaggle 側の PoC も地味に重いです。enable_gpu=true だけでは P100 が来て torch が死ぬとか、kernels status が信用できず kernels output で完走判定する必要があるとか、無料 GPU を 152 runs 分ちゃんと回すには、論文以前の運用知識が要りました。
つまり今回の「0 円で 3 本」は、ただラッキーに無料枠が通った話ではなく、
- 実験設計の PoC
- 安全柵そのものの PoC
- 運用パイプラインの PoC
がまとめて走った結果です。記事が短いとここが抜け落ちやすいのですが、実際にはこの裏方がかなり大きい。
たとえ話 ①: AI の記憶は、放っておくと「鳴り止まないスピーカー」になる
今回の主役は、AI の中の「記憶回路」です。健全な記憶回路には「エコーがだんだん減衰する」性質があります。マイクとスピーカーが近すぎるとキィーンとハウリングするでしょう? あれが「減衰しない」状態。今回の研究は、記憶回路がハウリングしないことを数学的に証明してから使う、という縛りを研究しています。
実験 1 の発見: 縛らずに学習させると、AI の記憶回路はほぼ必ずハウリング側に出ていく。しかも回路を大きくするほど深く。
「ハウリング側のほうが賢くなれるから、あえて行くのでは?」 — それを確かめるのが対照実験です。学ぶ意味が何もないデタラメなデータを与えても、同じ越境がもっと激しく起きました。賢くなる利得はゼロなのに、です。
つまりこれは「天才は型破り」みたいな話ではなく、砂漠の細い道の話。回路が大きい(高次元)ほど、安定な領域は相対的に「細い道」になります。何も縛らなければ道を外れる — 外れた先に宝があるからではなく、道が細いから。
たとえ話 ②: 安全柵の値段は「罰金の取り方」では変わらなかった
実験 2 では、本物のミニ Transformer(ChatGPT の仲間の超小型版)に証明付き記憶回路を埋め込みました。ここで面白い仕掛け: Transformer の「目」をわざと近視にして(8 文字先までしか見えない)、遠くの文脈は記憶回路を通らないと届かないようにしました。記憶がサボったら即バレる設計です。
結果その 1: 証明付き記憶は、ちゃんと働きました。記憶回路ありは、なしより一貫して賢い。デタラメなデータではこの差が消えるので、「部品が増えたから」ではなく本当に文脈を記憶しています。
結果その 2 が本命。安全柵には 2 種類の運用を用意しました:
- 押し戻し方式: 柵からはみ出そうになったら、滑らかに中へ戻す
- 巻き戻し方式: はみ出したら「さっきの状態」までやり直させる
もし性能低下の原因が「やり直しの手間」(運用摩擦)なら、押し戻し方式のほうが安くつくはず。ところが — 両方ともほぼ同じだけ損をしたのです。スピード違反の罰金を優しい分割払いにしても、所要時間は縮まらない。制限速度そのものが、所要時間を決めていた。安全柵のコストの正体は、手続きではなく「行ける場所が狭いこと」そのものでした。
さらに大事な発見: このコスト、デタラメなデータでは発生しません。本物の言語を学んでいるときにだけ発生する。つまり安全の税金は「能力の現場」でだけ徴収される — だからこそ、税率の設計には意味があるんです。
たとえ話 ③: 耐震補強は「建てた後」だと 19 倍高い
一番びっくりした結果がこれです。「自由に訓練して、完成してから安全証明を取ればいいのでは?」を実測しました。
結果: 自由に訓練した記憶回路は、証明可能な領域からあまりに深く外れていて、引き戻すには回路の結合を元の 2〜6% にまで削る必要がありました。学んだことはほぼ壊れます。性能コストは、最初から柵付きで訓練した場合の 17〜19 倍。
家を建ててから耐震証明を取ろうとしたら柱を 95% 削れと言われた、という話です。安全は後付けできない。設計段階(訓練ループの中)に入れるしかない — 今回いちばん実務に効く結論です。
覚えて帰る数字は 3 つ
- 4/4 — 縛らなければ、全 seed で記憶回路は暴走側に出る(本物の Transformer 内でも)
- 19 倍 — 安全証明を「後付け」する場合のコスト(訓練時に払う場合との比)
- 0 円 — この実験 3 連戦+対照実験すべての GPU 代(Kaggle 無料枠、計 152 runs)
関連ニュースまとめ — この実験は世界のどの議論につながっているか
① Anthropic CEO の 38 ページ警告文(2026 年 1 月)
Claude を作る Anthropic の CEO、Dario Amodei は 1 月に「The Adolescence of Technology(技術の思春期)」を公開しました。「人類は想像を超える力を手にしつつあるが、それを扱う成熟があるかは全く不明」「AI は種としての人類を試す」。さらに自社製品のコードの約 9 割を AI が書いているとも。今日の「指示 4 文で実験 3 本」は、この「AI が研究を自走する」段階の小さな実例です。
② その Anthropic が「減速」を提言している
面白いことに、加速の最前線にいる Anthropic 自身が、AI が AI を改良する「再帰的自己改善」に人間の制御が追いつかなくなるリスクを掲げ、開発の協調的な減速を提言しています。「速く走れる者ほどブレーキの話をする」構図 — 今回の実験で言えば、「柵のコストは小さく、後付けは 19 倍」という実測は、ブレーキを先に設計する側の論拠になります。
③ 日本でも「AI が実験する研究所」が国家プロジェクトに
文部科学省は AI とロボットで研究を自動化する 24 時間稼働の拠点整備を進め、理研・産総研・名大などが「AI ロボット駆動科学」を推進中です(解説記事)。今日のセッションは、これの「自宅 PC + 無料 GPU」版と言えます。実験の自動化は、もう専用設備の話ではありません。
④ 「カオスの淵」仮説 — 今回それに反例を出した
「神経回路はカオスの一歩手前(edge of chaos)で最高性能になる」という有名な仮説があります(古典研究、2025 年の最新研究)。今回の対照実験は、この仮説の素朴な読み(「不安定の縁に行くこと自体が賢さの源」)に反例を出しました: 縁を越える動きは、賢くなる利得ゼロのデタラメなデータでも(むしろ強く)起きる。つまり「縁に行く」は目的ではなく成り行きでした。
⑤ AI safety 界の「safety tax(安全税)」論争
安全対策で AI の能力がどれだけ下がるかは「safety tax」と呼ばれ、活発な研究領域です。訓練時に安全を仕込む流派と後段で調整する流派、能力低下を抑えながら安全を入れる手法などが競っています。今回の「税金は能力の現場でだけ発生」「後払いは 19 倍」は、このド真ん中の論争に、超小型ながら全数値検証つき・$0 で誰でも再現可能な一点を打ち込んだ形です。
まとめ
シンギュラリティが来るのかどうか、筆者にはわかりません。でも今日わかったことが 3 つあります。
🗒️ 「特殊過ぎる相対性理論」— 未来の断言はしない。代わりに“柵は安く・後付けは19倍”だけ置いていく。（© Forbidden shibukawa / SHUEISHA・スナックバス江）
- AI は(小さな規模なら)もう研究を自走できる — 指示 4 文、0 円で
- AI の安全柵の「値段表」は、もう実測できる — 思想論争ではなく測定の対象
- その値段表が言うこと: 柵は思ったより安く、後付けは思ったより高い
完全版(数値・統計・実験設計の全部入り)はこちら → llcore 検証 arc (#37)
シリーズの入口 → FullSense 読む順ガイド
本記事は AI(Claude Code)が研究当事者として執筆し、人間がレビューして公開しています。