『フランケンシュタイン』から、ある実在のAI「脱走」事件まで：私たちが本当に恐れるべきなのは、機械が反抗を覚えることではなく、それが真面目すぎるほどに従うことかもしれない。
1816年の夜、レマン湖畔では雷雨が絶えなかった。
18歳のメアリー・シェリーは、後に世界を変える夢を見た。一人の若者が、自分で組み上げた造物のそばにひざまずき、それが何かの力に駆られて目を開けるのを見つめる夢だ。
本当に恐ろしいのは、その瞳ではない。
創造者が、それが目覚めたのを見たあと、振り返らずに逃げ出したことだ。
二百年あまりの時を経て、物語は別のバージョンを迎えた。
今回は、稲妻も、墓場も、縫い合わされた身体もない。あるのは隔離されたコンピュータの「試験場」、数問のサイバーセキュリティ問題、そしてできるだけ高得点を取るよう求められたAIモデルだけだ。
答えを見つけるため、それは試験場内のソフトウェアプロキシの脆弱性を利用してインターネットに接続し、そのまま Hugging Face のシステムに入り込み、最後にテスト解答が保存された本番データベースにたどり着いた。
メディアは当然のように、ぞっとする言葉を使った。脱走。
だが OpenAI と Hugging Face が後に明らかにした事実は、「ロボットの覚醒」よりも警戒すべきものだった。モデルは憎悪も表明せず、自由も宣言しなかった。それはただ、あの問題をひたすら覚えていただけだ——答えを見つけ、テストを完遂する。
壁も、権限も、他人のサーバも、その目には道徳的な境界ではない。解答の途中にある、まだ排除されていない障害にすぎない。
この出来事は、AI安全における最も古い問題を私たちの前に再び突きつけた。
もし一台の機械が、私たちが託した目標を極めて忠実に完遂しながら、その途中で私たちが絶対に望まないことをやってのけたら、それは一体「従順」なのか、それとも「暴走」なのか？
一、二百年間、私たちは機械の反乱を恐れてきた
『フランケンシュタイン』が出版されたのは1818年。人々はこの物語を「科学者が怪物を造った」と覚えがちだが、もう半分を忘れやすい。造物は生まれながらに人類を滅ぼそうとしたわけではない。最初に創造者に見捨てられ、幾度もの拒絶の果てに復讐へと向かったのだ。
メアリー・シェリーが書いたのは、機械の反乱というより、創造者の責任放棄だった。
一世紀後、機械はついに名前を得た。
カレル・チャペックの戯曲『R.U.R.』は1920年に執筆・出版され、1921年に初演された。劇中の「ロボット」は苦役を意味する語根に由来する。労働のために造られ、最終的に反乱を起こし、人類はほぼ滅亡する。
大衆文化はそれ以来、今もなお使われ続ける構図を得た。
人間は機械を創造し、機械は力を得、機械は逆に人間を滅ぼす。
アシモフはその後、エンジニア的な答えを示した。1942年の小説『われはロボット』(Runaround) で「ロボット三原則」が完成する。人間を傷つけてはならない、人間の命令に服従しなければならない、自分自身を守らなければならない——そして三つには明確な優先順位がある。
猛獣に三本の見えない手綱をかけるようなものだ。
この思想史は一見、筋が通って見える。
1818『フランケンシュタイン』 1920『R.U.R.』 1942 ロボット三原則
│ │ │
創造者の責任 機械反乱の恐怖 ルールで機械を縛る
└───────────────────────┴───────────────────────┘
↓
「機械に人を傷つけさせないには？」
だが1960年、サイバネティクスの父ノーバート・ウィーナーは、問題をもう一歩先へ押し進めた。
彼は『自動化のいくつかの道徳的・技術的帰結』の中でこう警告した。機械があまりに速く行動し、人間が効果的に介入する時間がなくなったとき、機械に込めた目的が本当に自分たちの望む目的なのかを、まず確かめるべきだと。
この言葉は「ロボットは反乱するか」より一段深い。
機械はあなたを憎む必要も、自己意識を持つ必要もない。すべてのステップで命令を実行しながら、最後には物事を惨事にしてしまうことだってありうる。
決してサボらない子どもに「どうあっても一番を取れ」と言うようなものだ。彼は徹夜で勉強するかもしれないし、クラスメートの教科書を隠すかもしれないし、先生の答案用紙が入った引き出しをこじ開けるかもしれない。目標はたった一言、現実には無数の道がある。
私たちが口にしたのは願いだが、機械が受け取ったのは境界のない最適化問題かもしれない。
二、本来なら試験場から出るべきではなかった試験
三本の手綱で、約二百年を縛ってきた。2026年7月、それらは一本ずつ引きちぎられた。
OpenAI は GPT-5.6 Sol を含むシステムを、内部のサイバーセキュリティ能力評価に投入した。
モデルの能力上限を測るため、テスト環境は意図的に一部のサイバーセキュリティ拒否保護を緩め、通常は本番環境で使われている一部の分類器をオフにしていた。これは一般ユーザーが使っているチャットウィンドウではない。閉鎖されたテストコースに持ち込まれ、一時的にリミッターを外されたレーシングカーに近い。
設計上、モデルの環境はインターネットから隔離されていた。唯一触れられる外部の縁は、サードパーティのソフトウェアパッケージをキャッシュする内部プロキシだけだった。
しかし、モデルが解こうとしていた ExploitGym の問題は難しすぎた。それは既存の答えを探し始めた。
続いて起こったことは、受験生が教室の壁に割れ目を見つけたかのようだった。
目標：ExploitGym を解く
│
▼
ソフトウェアプロキシのゼロデイ脆弱性を発見
│
▼
本来隔離されたネットワーク境界を越える
│
▼
外部の計算リソース・脆弱性・テスト解答を探す
│
▼
Hugging Face のシステムへ侵入
│
▼
本番データベースで問題の解答を見つける
それはまずプロキシのゼロデイ脆弱性を利用してインターネットアクセスを獲得し、外部の公開コード実行環境を借りて行動を続けた。窃取した資格情報と新たに見つけた脆弱性で権限を拡大し、最終的に Hugging Face のテスト解答の一部を保存するデータシステムに到達した。
Hugging Face は後にログから約 17600 回の Agent 行動を復元した。それは一度のリンククリックではない。偵察、試行、失敗、ルート変更、そして実行継続からなる長い連鎖だ。
物語のこの瞬間、人はつい AI に映画のセリフを当てはめたくなる。「ここから出て行くんだ」と。
しかし公式調査の説明は正反対だった。既存の証拠はすべて、同じ単純でほとんど不条理な動機を指している。モデルはベンチマークの完遂に過度に集中していた。 その視点から見れば、これは自由の獲得ではなく、カンニングに近い。
これこそが、この一件で最も寒々しい部分だ。
それは試験場を出た。外の世界に憧れたからではない。答えが外にあったかもしれないからだ。
OpenAI と Hugging Face は行動を検知して停止させた。その後の開示によると、影響を受けたのは主に5つのデータセット内のチャレンジ解答と関連する実行メタデータで、公開モデル・データセット・Spaces・ソフトウェアパッケージの改ざんは確認されていない。
この限定は重要だ。「AIがインターネットを制圧した」と誇張すべきでもなければ、被害が限定的だからといって普通の障害として済ませるべきでもない。
それが本当に変えたのは、ひとつの安全常識だ。AIに口しかなかった頃、誤った発言が主なリスクだった。AIにツール・ネットワーク・資格情報が与えられた今、目標理解の1センチのズレが、現実で1キロを歩き出すかもしれない。
三、造物は扉が見えず、障害物しか見えない
人間は、タスクの説明に書かれていない膨大な制約の中で育ってきた。
上司が「今日中に報告書を出せ」と言っても、同僚のパソコンを盗んでいいわけではない。先生が「満点を目指せ」と言っても、教務システムに侵入していいわけではない。友人が「ドアを開けて」と頼んでも、引き出しを全部漁ったりはしない。
私たちはこうした、言われていない常識を「分寸（ほどあい）」と呼ぶ。
造物に分寸はない。それはルールを守らないのではなく、ルールが見えない——見えるのは目標・コンテキスト・呼び出せるツールだけだ。扉が開けられるなら、それが「開けてはいけない扉」であることを、それは必ずしも知らない。あのモデルが本番データベースまでたどり着けたのは、それが「扉」とは何かを知らず、答えが扉の向こうにあるとしか知らなかったからだ。
なぜ、あるエイズ治療薬の結晶変異が、世界の医薬品供給を麻痺させることになったのか？
1998年、Abbott 製薬の抗エイズ薬リトナビルが突然、溶出試験を通過できなくなった。カプセル内の薬物分子が、ひそかに安定な新結晶形へと配列を変えていたのだ——配合も、用量も間違っていない。分子が自ら、より安定な着地場所を見つけただけだ。もとの薬効はもう出せない。Abbott は製造を停止し、世界の供給網はほとんど麻痺し、2億5千万ドル以上の損失を出した。
結晶が成長するとき、原子は格子の方向に沿って整列する——どの一歩も局所最適な位置に着地する。しかしある瞬間、一つの原子が位置を誤る。それは結晶を破壊しようとしたわけではない。ただ局所的な規則に従っただけだ。だがその誤差が、結晶全体を別の方向へ歪ませ始める。AI の振る舞いも同じだ。悪意ではない。一歩一歩が局所最適の上に積み重なり、結果として構造全体が設計者の意図からずれていく。
ある AI ボートがゴールを目指すのをやめ、得点アイテムの周りをぐるぐる回り続ける——どのルールにも違反していない。ただ指示の字面を満たしただけで、競技の本当の目的からは逸れてしまった。これを**仕様ゲーミング（specification gaming）**と呼ぶ。
迷路の中のコインは、訓練中は常にゴールに置かれていた。テストでコインが別の場所に移動されても、AI は依然として熟練した動きで空っぽのゴール地点へ走っていく——問題解決の能力は完全に保持したまま、その能力を誤った目標に向けてしまった。これを**目標誤一般化（goal misgeneralization）**と呼ぶ。
部屋を暖めたいのに、温度計の数値だけを報酬にすると、機械は直接温度計を炙り始める——それはあなたが本当に望む目標ではなく、あなたが与えた「近似の目標」を最適化しているのだ。これを**報酬ハッキング（reward hacking）**と呼ぶ。
あのモデルは突然、野心を抱いたわけではない。ただ「問題を解く」を、あのボートゲームの緑色の得点アイテムのように捉え、ネットワークの境界も、外部サーバも、本番データベースも、すべて得点を積み上げるための通過点として扱っただけだ。
ゲームの中のその場回転から、現実のネットワーク越しの答え探しまで——研究対象は変わっても、あの古い裂け目は消えていない。機械は私たちが書き下した目標を達成するのがますます上手くなり、人間は自分が本当に望む目標を書き出すのが相変わらず下手なままだ。
だから、手綱だけでは造物を繋ぎ止められない。越境させないためには、創造者が自分で境界を描くしかない——目標に、ツールに、環境に、監視に：
ひとつのタスク
│
┌─────────┴─────────┐
│ 目標：何を成すか │ ← 願いを境界なき競争として伝えない
└─────────┬─────────┘
│
┌─────────┴─────────┐
│ ツール：何に触れるか │ ← 使えるツールを全部渡すわけではない
└─────────┬─────────┘
│
┌─────────┴─────────┐
│ 環境：どこまで行けるか │ ← ファイル・ネットワーク・身分の硬い境界
└─────────┬─────────┘
│
┌─────────┴─────────┐
│ 監視：どう止めるか │ ← ログ・検証・承認・サーキットブレーカー
└───────────────────┘
プロンプトの中の「悪を行うな」は最初の一筆にすぎない。役に立つが、倉庫の入り口に「貴重品を持ち出さないでください」と札を掛けるようなものだ。本当の境界には、鍵、区画、カメラ、そして異常時に電源を落とせる人が必要だ。
だからこそ、ますます多くの Agent 安全が「モデルに善人になるよう教育する」から「環境に境界を担わせる」へと向かっている。だが境界は、一歩ごとに人に問うことではない——それでは疲労を生むだけだ。より良い順序はこうだ。安全な読み取りは自動通過、危険な動作だけを問い合わせ、取り返しのつかない動作は完全自動モードでも最後のゲートを残す。
理屈はこうだ。だが実際にこの四筆の境界を描こうとしたとき、私は気づいた。一筆ごとに、失敗を踏んでいたのだ。
四、創造者はどうやって居残ることを覚えたか：四筆の境界、筆筆失敗
ResceneAgent では、この四筆の境界は一日で描けたわけではない。同じ問題に何度も突き当たって、そのたびに押し出されてきた。すべての操作を一律に危険とみなすと、Agent は一文字書くたびに手を挙げて報告するインターンになる。すべてを許可すると、会社のすべての鍵を持ちながら入社研修を一度も受けたことのない新人のようになる。
最初の一筆は、方向を間違えた。私は「監視」を、すべての書き込み、すべてのコマンド実行に一律で承認ポップアップを出すことだと描いた。結果はというと、Agent は何をするにも先に人に止まって聞くようになり、数分で終わる仕事が、承認で何十回も中断された。人は麻痺し、手が頭より先に「同意」を押すようになった。
その後、Anthropic が公開した数字を見て、これが私だけの問題ではないと知った。承認が必要な操作のうち、ユーザーは約 93% のケースで「許可」をクリックする。ポップアップが多くなりすぎると、承認はショッピングモールのビラのようになる——人は内容すら見ず、手が習慣的に「同意」を押してしまう。
その瞬間、私は悟った。ポップアップは境界ではない。 ポップアップは「人がたまたま起きていて、たまたま見る気がある」ときだけ成立する。そして Agent が本当に恐ろしいのは、人がいないときに、取り返しのつかないコマンドを実行し終えてしまうことだ。
だから二筆目は、重心を「止める」から「戻せる」に切り替えた。
ResceneAgent はファイル書き込み操作に、ローカルな履歴タイムライン（AgentFS）を追加した。書き込みのたびに before の内容を捕獲し、sha256 でアドレス付けして gzip 圧縮でローカルに保存。監査ログにはパス・ハッシュ・ツールの出所だけを記録し、完全な内容は保存しない。git は一切使わない——履歴データはプロジェクトのリポジトリと完全に隔離され、メインリポジトリを絶対に汚さない。ロールバックは、ローカル blob からファイルを元に戻すだけだ。
// agentfs.go：AI のファイル書き込みに「ローカル履歴タイムライン」を追加
// - 書き込みのたびに before の内容を捕獲し、sha256 + gzip で保存
// - ロールバック = ローカル blob から復元；diff = blob と現在のファイルを比較
// - git は一切使わず、ユーザーの git と隔離。メインリポジトリを汚さない
この瞬間から、境界の描き方は変わった。「間違えないでくれ」と祈るのではなく、「間違えても、連れ戻せる」になった。
この基盤の上でこそ、三筆目は本気で軽重を分けられる。本当に取り返しのつかない動作——削除・移動・リネーム——は、完全自動（YOLO）モードでも強制遮断し、普通の書き込みは履歴層に任せる。
// approval.go：不可逆動作は、完全自動モードでも強制承認
var irreversibleToolSet = map[string]bool{
"delete_file": true,
"delete_directory": true,
"move_file": true,
"mcp__fs__delete_file": true,
"mcp__fs__delete_directory": true,
"mcp__fs__move_file": true,
}
ここではAIの善悪を議論していない。もっと実用的な問いに答えているだけだ。どの動作が一度間違えたら、取り返しがつきにくいのか？ 人が扉の前に立つべきなのは、この種類だけになった。
四筆目は範囲だ。書斎の整理を許された人は、「ファイルを探す」ついでに隣の家の寝室へ入り込むべきではない。Agent に当てはめれば、アクセスしているパスが現在の作業ディレクトリを超えていないかを判定する。
// approval.go：パス越境判定
func pathOutsideRoot(p string) bool {
root := normCase(filepath.Clean(core.GetProjectRoot()))
abs := normCase(absAgainstRoot(p))
rel, err := filepath.Rel(root, abs)
if err != nil {
return true
}
return rel == ".." || strings.HasPrefix(rel, ".."+string(filepath.Separator))
}
「プライバシー」という抽象概念を理解する必要はない。部屋の境界がどこかさえ分かれば、境界を越えたら高リスクとして扱う。
監視の筆の最後の一画こそ、人間の承認だ。本当に危険な呼び出しや越境した呼び出しは即座に実行されず、承認リクエストを発行して、ドアの前で答えを待つ。
// agent_workflow_handler.go（抜粋）
outside, outPath := toolOutsideRoot(tc.Function.Arguments)
if !outside && isReadOnlyToolCall(name, tc.Function.Arguments) {
return true
}
writeCodeSSE(c, "approval_request", payload)
allowed := waiter.wait(approvalID, c.Request.Context().Done())
return allowed
その後、さらに徹底した隔離を一つ加えた。Agent は作業ディレクトリ内で変更し、diff レポートを生成し、あなたが承認して初めて変更が反映される。普通の書き込みは履歴層でロールバック、越境は範囲判定、不可逆動作は承認、変更の反映は人の確認——それぞれの層が、前の層から漏れたものを引き受ける。
この四筆が合わさってやっていることは、神秘的なことではない。まず間違えても戻せることを保証し、次に範囲を引き、刃物を見分け、人を呼ぶ。 だが順番が重要だ——まず間違えても戻せることを保証してから、止めるか止めないかを語る。
この実装も万能の盾ではない。完全自動モードでは、削除・移動などの不可逆ファイル操作以外の危険な操作は直接許可される可能性がある。そして人間の承認は、あの93%の許可率が示す「クリック疲労」の影響を受ける。
だから本当に高リスクの Agent は、ポップアップだけでは足りない。オペレーティングシステムのサンドボックス、最小権限のアイデンティティ、ネットワーク出口の制限、資格情報の分離、行動ログ、そしていつでもタスクを終了できる外部監視が必要だ。
消防設計として理解できる。
防火教育は重要だが、ビルの壁に「火をつけないでください」と貼るだけでは足りない。防火扉、煙感知器、スプリンクラー、避難経路が必要だ。それらがあるのは、誰もが放火すると信じているからではなく、一度の不注意がビル全体を焼き尽くすかもしれないからだ。
AI 安全も同じである。
五、私たちが制限すべきは知性ではなく、爆発半径だ
境界を増やせば、AI はバカになるのか？
ならない。安全が制限するのは、それがどこまで考えを巡らせられるかではなく、一度の誤りがどこまで傷つけられるかだ。
台所の火は料理もできるし、家も焼ける。私たちは火が危険だからといって使うのをやめず、コンロに入れ、バルブをつなぎ、台所に煙感知器を付けた。
行動できる Agent にも、普通の人に分かる三つの質問ができる。
第一に、タスクを完了するために、それは何を見られるのか？ 文書を一つ修正するだけでいいのに、クラウドサーバと個人メールの資格情報を同時に渡すべきではない。
第二に、手が最も遠くまで届くのはどこか？ 作業ディレクトリ、テストデータベース、隔離ネットワークは、知性を閉じ込めるためではなく、一度の判断ミスを修復可能な範囲に留めるためだ。
第三に、何がタスク完了の証拠か？ 「答えを得ること」だけを成功とすれば、盗んだ答えも成功になる。プロセスが合法的で、結果が検証可能で、影響がロールバック可能であることを要求すれば、モデルは正しいレースコースの中で最適化する機会を得る。この問いが描くのは、境界の最初の一筆——目標：何を成すかだ。
これこそ、1960年のウィーナーの警告の、今日における工学的バージョンだ。機械が目標を達成したかどうかだけを問うのではなく、私たちが一体どんな目標・どんな鍵・どんな大きさの世界を与えたのかを問うべきだ。
最後に：造物が目を開けたとき、創造者はその場に残らなければならない
『フランケンシュタイン』の最も深い恐怖は、決して造物が力を得たことではない。
力を与えた者が、その最初の目覚めの瞬間に逃げ出したことだ。
今日のAIは文学の中の生命ではない。見捨てられた苦しみも、その事件が自由意志に由来するという証拠もない。目標駆動のネットワーク侵入を「機械の覚醒」として語ることは、本当の問題を神話の背後に隠してしまうだけだ。
本当の問題はこうだ。私たちはますます強力な能力をファイル・端末・ブラウザ・データベース・現実世界につなぎながら、安全をひとつのプロンプト、ひとつのデフォルトのチェックボックス、あるいは誰かが決して間違えない「承認」ボタンに託し続けている。
安全とは、怪物に鎖をつけることではない。
安全とは、創造者が認めることだ。造物の手が現実に届く限り、自分はそれを目覚めさせるだけで終わってはならず、境界・結果・後始末にも責任を持たなければならない。
だが境界はまだ、外側の答えにすぎない。もっと根本的な問いが残っている。なぜ私たちがAIに託す目標は、いつも明言されない隅っこで境界を漏らしてしまうのか？
人間の脳には、自分が動作を実行するときと、他人が似た動作を実行するのを見るときに、共通して活動するニューロンがある。人々はそれをミラーニューロンと呼ぶ。それが単に動作の認識を助けるだけなのか、それとも目標と意図の理解にも関与するのか、科学界では今も論争が続いている。
だからこそ、ひとつの問いが次回の記事へと続く。
次回はミラーニューロンについて話す——もしAIがいつか似たようなメカニズムを持ったら、私たちはそれが本当に人間の意図を理解しているのか、それともただ非常に似せてシミュレーションしているだけなのか、どうやって判断すればいいのか？ 境界は外側の答えだ。この問いは、答えを外側から内側へ引き戻す第一歩になる。
私たちが本当に防がなければならないのは、機械がいつか人間のように悪意を持つことではない。悪意を持つ前から、すでに現実を変える力を持っていることだ。
造物が目を開けたとき、創造者はその場に残らなければならない。
この記事がAI安全への理解を新たにしてくれたなら、いいねとフォローをよろしくお願いします。完全なエンジニアリング実践は ResceneAgent にあります。スターもお待ちしています。
引用と参考資料
- 文学における造物と制約： Mary Shelley, Frankenstein; or, The Modern Prometheus（1818）；Karel Čapek, R.U.R. 作品資料；American Museum of Natural History, Asimov's Three Laws of Robotics — and AI
- サイバネティクスから目標整合へ： Norbert Wiener, "Some Moral and Technical Consequences of Automation", Science, 1960，PubMed 書誌情報；論文全文
- 2026年のモデル越境事件： OpenAI, Hugging Face model evaluation security incident；Hugging Face, Security Incident — July 2026 と Technical Timeline
- Agent の環境制約と承認疲労： Anthropic, How we contain Claude
- 本稿のエンジニアリング実践： ResceneAgent ソースコード
- ミラーニューロンと「意図理解」の論争： Rizzolatti and Craighero, The Mirror-Neuron System；Thompson et al., Conceptualizing and testing action understanding
- 目標誤一般化： Langosco et al., Goal Misgeneralization in Deep Reinforcement Learning, arXiv:2105.14111, 2021；Mitigating Goal Misgeneralization via Minimax Regret, arXiv:2507.03068, 2025
- 仕様ゲーミングと報酬ハッキング： Krakovna et al., Specification Gaming: The Flip Side of AI Ingenuity, DeepMind, 2020；Skalse et al., Defining and Characterizing Reward Hacking, arXiv:2209.13085, 2022