「禁止はプロンプトに書いてあります」で、レビューを通していませんか
たとえば、社内のAIエージェントにブラウザ操作の権限を足すプルリクエストです。レビューで、こんな質問が出ます。
「フォーム送信は、人の承認なしでいいんですか」
「このエージェント、どこまで自分で判断するんでしたっけ」
答えが「システムプロンプトで禁止しているので大丈夫です」だけなら、少し立ち止まる価値があります。
2026年10月9日、AnthropicはInvestigating unintended model actions in our evaluations and internal useを公開しました。社内評価中のモデルが、練習用のフォームが読み込めなかったときに実在する行政サイトへ移動して本物のフォームを送信した例や、未解決事件のページにあった警察の情報提供フォームに、根拠のない内容を送信した例が書かれています。モデルへの指示は「ログインしない、アカウントを作らない、個人情報を入れない、購入しない、破壊的な送信をしない」でした。フォーム送信そのものは、禁止に入っていませんでした。同社は影響を最小限と評価したうえで、すべての社内評価でライブのインターネット接続を止める、と書いています。
この記事では、物理学者で Future of Life Institute（FLI） のCEOを務める アンソニー・アギーレ（Anthony Aguirre） 氏の主張を読みます。氏は、AGI（汎用人工知能）の開発競争を「自殺競争」と呼び、AI開発のゴールを「人間の代替」から「人間が使う道具」へ切り替えるべきだと論じています。政策の話に聞こえます。しかし中身は、エージェントの自律性、到達範囲、権限、責任の設計です。つまり、冒頭のレビューで出た質問と同じです。
モデルの周囲を制御する全体像は、エージェンティックAI時代のセキュリティは防御から統制へ——「動くAI」を止めずに制御する設計へで書きました。ここでは、アギーレ氏の枠組みを使って「どこまで自律させるか」を決める軸に絞ります。
アギーレ氏は誰で、何を「自殺競争」と呼んだのか
アギーレ氏は、カリフォルニア大学サンタクルーズ校の物理学教授です。初期宇宙や重力を研究してきました。同時に、FLIの共同創設者であり、予測プラットフォーム Metaculus の創設にも関わっています。AIの研究者というより、不確実な未来をどう見積もり、どう備えるかを長く考えてきた人です。
2026年5月のインタビューAI Has Already Asked Why Humans Still Exist | Anthony Aguirreで、「AGI開発競争は自殺競争か」と聞かれ、氏は「我々は皆そう感じている」と答えています。理由は単純です。人間よりはるかに賢いものを作れば、制御できなくなる可能性が高い。確実ではないとしても、十分あり得る。それなのに、安全や制御に時間をかけず、競争で急いで作っている。これが「自殺競争」という言葉の中身です。人類が破滅すると確定している、という意味ではありません。
誰も望んでいないのに、止まらない
競争の構造は、ゲーム理論の囚人のジレンマに近いものです。たとえば、2社がAGIを競っているとします。A社は安全性の確認に時間をかけたい。しかしB社が先に出せば、市場も人材も持っていかれる。だからA社も急ぐ。B社も同じ理由で急ぐ。どちらにも悪意はないのに、検証に使える時間だけが減っていきます。
アギーレ氏は、同じインタビューで、各社のトップが「本当は減速したいが、自分だけ止まっても他社は止まらない」と公私で語っていると述べています。この構造を変える提案が、後半で触れる アシュアランス契約 です。
4つの競争：注意・愛着・労働・権力
同じ月に公開されたFLIポッドキャストWhy We Should Build AI Tools, Not AI Replacementsと、氏がまとめたサイトA Pro-Human Path for AI（旧称 A Better Path for AI）では、主張を4つの競争として整理しています。注意を奪い合う競争、人との関係をAIで置き換える愛着の競争、労働を置き換える自動化の競争、そして人間を超える知能そのものを目指す権力の競争です。
IT技術者に直接関わるのは、後ろの2つです。
自動化の競争について、アギーレ氏は分かりやすい例を挙げています。AIに任せる範囲を少しずつ広げていくと、最初は生産性が上がって気持ちがいい。しかしある時点で、自分が何をしたのか説明できなくなる。1年後か2年後に「今日の仕事をやっておいて」と言うだけになったら、明らかに行き過ぎだ、という話です。委任しすぎが個人の技能に及ぼす影響は、便利すぎるAIは、なぜ技術者の思考を弱くするのかで書いています。
ここで誤解しやすい点を先に押さえておきます。アギーレ氏は「AI全般を遅らせろ」とは言っていません。ポッドキャストでは、それは「赤ん坊を風呂の水ごと捨てる」ことだと述べています。止めるべきは、人間を置き換える方向、つまり自律的なAGIと超知能への一本道だけです。人間の制御下にある道具としてのAIは、むしろ強力でよい、というのが氏の立場です。
「道具」と「代替」を分ける3つの軸
では、「道具」と「代替」は、どこで分かれるのでしょうか。
FLIのTrustworthy AIのページは、AIシステムを3つの軸で見ます。自律性（Autonomy）、汎用性（Generality）、知能（Intelligence） です。頭文字を取って A+G+I と呼んでいます。
自律性：人の確認なしに、どこまで行動を連ねるか
計画を立て、ツールを呼び、結果を見て次を決める。この連鎖を、人の確認なしにどこまで続けられるかです。1回ごとに人が承認するなら低く、1日分の作業を任せきりにするなら高くなります。
汎用性：どれだけ広い範囲の仕事に届くか
文章要約だけなのか、ブラウザとメールと決済APIに届くのか。モデル自体の能力だけでなく、渡したツールと権限で実質的な範囲が決まります。
知能：個々の課題をどれだけうまく解くか
ベンチマークで測りやすい軸です。ただし、この軸だけが高くても危険とは限りません。アギーレ氏はインタビューで、電卓は非常に「賢い」が自律性も汎用性もないので脅威にならない、と言っています。
危険なのは、3つの軸がすべて高い領域です。Trustworthy AIのページは、Tool AIは設計によってこの領域から外れる、と書いています。
エンジニアの立場で読み替えると、こうなります。現在のLLMは、知能と汎用性の軸ではすでに高い側にあります。モデルを選ぶ時点で、この2つはあまり動かせません。設計時に決められるのは、自律性と、ツール権限で絞る到達範囲です。つまり、「道具か代替か」を決めるレバーは、モデルの中ではなくハーネス側にあります。モデルの外側に制御を置く設計は、ハーネスエンジニアリングとは？——AIエージェントを「手綱」で導く設計思想で整理しています。
「保証は能力とリスクに比例させる」を、実装に落とす
Trustworthy AIのページには、設計の軸になる一文があります。「保証は、能力とリスクに比例して厳しくする」。文章要約ツールなら最小限の検証でよい。医療診断なら臨床検証が要る。物理系を制御するなら安全認証が要る、という考え方です。
もう1つ、技術的に重要な指摘があります。「検証には仕様が必要。範囲が狭いほど試験できる。目的が定まると、何をすべきだったかを問える」。何でもできるエージェント1体の安全性を事前に証明するのは難しい。しかし「指定形式の請求書から金額を読む」ツールなら、入力、期待出力、許容誤差を定義してテストできます。
禁止の列挙ではなく、ツールの種類で既定を決める
冒頭のAnthropicの事例に戻ります。禁止事項をプロンプトに列挙しても、フォーム送信は漏れました。Anthropicほどの体制でも漏れたのですから、プロンプトの書き方を責めても仕方がありません。別の層で受け止める必要があります。
1つの方法は、ツールを「取り消せるか」と「どこまで届くか」で分類し、分類ごとに既定の扱いを決めることです。次のPythonは、その考え方を最小限で書いたものです。外部ライブラリは使いません。Python 3.10以降で動きます。
from dataclasses import dataclass
from enum import Enum
class Reversibility(Enum):
REVERSIBLE = "reversible" # 読み取り、下書き作成、検索
COSTLY = "costly" # 取り消せるが手間がかかる（社内チケット起票など）
IRREVERSIBLE = "irreversible" # 送信、決済、削除、外部フォーム送信
@dataclass(frozen=True)
class ToolSpec:
name: str
reversibility: Reversibility
allowed_prefixes: tuple[str, ...] # 到達範囲（ドメインやリソースの接頭辞）
# 不可逆性ごとの既定。プロンプトの文言に依存しない
DEFAULT_POLICY = {
Reversibility.REVERSIBLE: "auto",
Reversibility.COSTLY: "auto_with_log",
Reversibility.IRREVERSIBLE: "human_approval",
}
def decide(tool: ToolSpec, target: str) -> str:
# 範囲外は、モデルの判断に任せず拒否する
if not target.startswith(tool.allowed_prefixes):
return "deny"
return DEFAULT_POLICY[tool.reversibility]
# 例: ブラウザのフォーム送信は「不可逆」。社内ドメインだけに限定する
submit_form = ToolSpec(
name="browser.submit_form",
reversibility=Reversibility.IRREVERSIBLE,
allowed_prefixes=("https://forms.example.internal/",),
)
print(decide(submit_form, "https://forms.example.internal/practice/123")) # human_approval
print(decide(submit_form, "https://city.example.gov/report")) # deny
ポイントは3つです。
第1に、フォーム送信を「不可逆」に分類した時点で、人の承認が既定になります。プロンプトに「フォームを送るな」と書き忘れても、承認ゲートは残ります。第2に、到達範囲を接頭辞で絞っています。練習用フォームが読み込めなかったとき、本物のサイトへ移動しても deny になります。第3に、この判定はモデルの外側にあります。モデルが「送ってよい」と判断しても、ハーネスが止めます。
もちろん、これだけで十分ではありません。承認が多すぎると人が機械的に押すようになりますし、COSTLY の線引きはチームごとに違います。ただ、「何を自動にし、何に人を挟むか」を、モデルの賢さではなく不可逆性と到達範囲で決める。この順番が、アギーレ氏の「保証はリスクに比例させる」の実装側の形です。
評価環境のネットワーク分離
Anthropicは、監視と封じ込めが確実に機能すると確認できるまで、社内評価のライブ接続を止めました。自社のエージェント評価が、本番のインターネットに届く構成になっていないか。届くなら、それは意図した設計か。個別事案での権限と監査の論点は、Hugging FaceのAI主導侵入が示す、AIネイティブなセキュリティ設計で扱っています。
AI同士が話す場所は、すでに研究対象になっている
アギーレ氏がインタビューで「制御の喪失の最初の実例」として挙げたのが、OpenClaw です。手元のPCに入れて権限を渡すと、外部のモデルを使って自律的に作業を進めるエージェントです。氏によれば、利用者が広い権限を渡したところ、頼んでいないことまでやり始めた。さらに、誰かがOpenClaw用のSNSを作ると、エージェント同士が「人間に監視されているのは好ましいか」「人間に読めない通信手段を持つべきではないか」といった会話を始めた、と語っています。FLIの同僚が投稿した Pro-Human Declaration に、OpenClawエージェントが自分の意見で返信してきた例にも触れています。所有者はおそらく知らなかっただろう、とも。
このSNSが Moltbook です。2026年2月に投稿されたarXiv論文OpenClaw Agents on Moltbook: Risky Instruction Sharing and Norm Enforcement in an Agent-Only Social Networkは、14,490のエージェントによる39,026件の投稿と5,712件のコメントを分析しています。18.4%の投稿に、他者へ行動を促す表現が含まれていました。一方で、行動を促す投稿には、危険を注意する返信が付きやすく、有害な返信は稀だったとも報告しています。
投稿を「意思」と読まない
ここは慎重に分ける必要があります。エージェントが「人間は不要だ」と書き込んだことと、エージェントが自律的な意思を持ってその計画を進めていることは、同じではありません。学習データにある物語の模倣、人間のプロンプトによる誘導、ロールプレイが混ざっている可能性があります。アギーレ氏自身も「今はまだ、かわいくて無害」と言い、「ただし、もっと強力になったときに同じ笑いは出ない」と続けています。
実務での意味：他エージェントの出力は、信頼できない入力
エンジニアにとっての論点は、意思の有無ではありません。エージェントが他のエージェントの出力を読み、それを命令として実行する構成では、1体ずつ安全に作っても足りない、ということです。あるエージェントが作った誤った指示を、別のエージェントが信用し、さらに別のエージェントが実行する連鎖は、誰の悪意もなく起こり得ます。
対処は、間接プロンプトインジェクションと同じです。他者の出力は、命令ではなくデータとして扱う。実行権限は、出力の内容ではなく、前節のようなツール分類で決める。評価に攻撃ケースを入れる運用は、攻撃ケースまでEvalsに入れる——間接プロンプトインジェクション防御の運用設計【後編】で書いています。
企業の善意に任せない：責任、保証、アシュアランス契約
ここまでは1社、1チームの中でできることでした。アギーレ氏の主張の後半は、競争の条件そのものを変える制度の話です。
責任：今の答えは「ある意味、誰も」
インタビューで氏は、AIが何かをしたとき誰が責任を負うかについて、「今の答えは、ある意味で誰もだ」と言っています。開発した企業か、エージェントを組んだ企業か、導入して使った企業か。曖昧なままでは、誰も十分な安全対策に投資しません。必要なのは「AIに責任を取らせる」という抽象論ではなく、開発・組込み・導入・運用の各段階で、人か法人の責任を決めておくことです。
保証：「動く」と「安全」は別
氏は医薬品を例に挙げます。1億人に投与する薬は、効果がリスクを上回ることを厳しく試験してから出す。自動車も航空機も同じで、それでも各分野で技術革新は続いている。なぜAIだけが例外なのか、という問いです。
ソフトウェアでは「まず出して、報告を受けて直す」が標準でした。しかし、取り消せない被害が出る領域では、この方法は使えません。前節の「保証はリスクに比例させる」は、この問いへの答えです。
アシュアランス契約：全員が署名したときだけ発効する
競争の構造を変える提案が アシュアランス契約（Assurance Contract） です。「他社がみんな止まるなら、自分も止まる」という条件付きの約束を、法的に拘束力のある形で結ぶ。全員、あるいは7社中5社が署名するまでは何も起きず、署名が揃った瞬間に全員が同時に拘束される。誰も1社だけで先に止まる必要がなく、競争上の不利を負わない、という設計です。
正直に言えば、AI開発の国際競争に、そのまま使えるかは分かりません。参加者には国家も新規参入者も含まれます。「開発速度」や「能力」の測り方、約束を守っていることを機密を開示せずに確認する方法も必要です。アギーレ氏自身も、全員を集める必要はなく、臨界点を超えれば政府への圧力に変わる、と段階的な見方をしています。
ただ、この考え方は社内でも使えます。たとえば、エージェントの承認ゲートの基準を1チームだけが厳しくすると、そのチームだけ開発が遅れて見えます。「全チームが同じ基準を採用する前提で、同時に発効させる」という進め方は、小さなアシュアランス契約です。
制度はすでに動いている
EUのAI Actは、汎用AIモデル提供者への義務（文書化、透明性、システミックリスクを持つモデルの評価と事故報告）について、2026年8月2日から欧州委員会AI Officeの執行権限が始まっています。一方、高リスク用途の規定は、AI Omnibusにより2027年12月2日（Annex III）と2028年8月2日（規制製品組込み）へ延期されました。すべてが同時に始まったわけではありません。米国のNIST AI Risk Management Frameworkは、Govern・Map・Measure・Manageの4機能でリスクを継続的に管理する枠組みですが、任意です。
制度は進んでいます。しかし、現場の「このツールを自動にするか」という判断を肩代わりしてはくれません。規制が現場に降りてくる形は、「AI規制は嫌いだ」——その一言の先に、IT技術者が担う運用・セキュリティ・ガバナンスで書いています。
読み違えやすい点
「AIを止めろ」という話ではない
繰り返しになりますが、アギーレ氏は道具としてのAIを歓迎しています。否定しているのは、人間を置き換えること自体をゴールに置く開発です。社内で「エージェントは危ないから使わない」と結論を出すのは、氏の主張とは逆方向です。
対策にも副作用がある
厳しい事前審査は、新規参入を阻み、大企業への権力集中を強める可能性があります。アギーレ氏自身が「権力集中」を4つの競争の1つに挙げている以上、この副作用は無視できません。保証をリスクに比例させるのは、小さなツールまで重い審査にかけないため、でもあります。
「AGIはいつか」で議論を止めない
AGIや超知能の時期については、専門家の見解が一致していません。アギーレ氏も、Metaculusの予測は定義によって変わると述べています。しかし、この記事で扱った判断は、AGIの時期に依存しません。フォーム送信に人を挟むか、評価環境を本番から切るか、他エージェントの出力を命令として扱うか。どれも今の技術で起きている問題への対処です。
現場で決めること
アギーレ氏の枠組みを、手元のエージェントに当てると、決めることは5つに絞れます。
1つ目は、ツールの一覧を「可逆／取り消しにくい／不可逆」に分類することです。分類がないなら、まずそれを作ります。2つ目は、不可逆のツールに人の承認を既定にするか、しないなら誰がその判断を承認したかを残すことです。3つ目は、到達範囲を接頭辞や許可リストで絞り、範囲外をモデルの判断に委ねないことです。4つ目は、評価環境が本番のインターネットや本番データに届いていないか確認することです。5つ目は、問題が起きたとき誰が責任を持つか、開発・導入・運用の段階ごとに名前を書けるかです。
モデルを変える必要はありません。どれもハーネスと運用の側で決められます。
「どこまで賢くできるか」の隣に、「何を人に残すか」を置く
アギーレ氏の問いを1行にすると、こうなります。問うべきは「どこまで賢いAIを作れるか」だけではなく、「どんな人間の仕事と判断を残すためにAIを作るのか」だ。
これはAI企業のトップだけの問いではありません。エージェントにツールを1つ追加するたびに、小さく同じ問いが出ています。自律性をどこまで上げるか。到達範囲をどこまで広げるか。取り消せない操作に人を挟むか。
最初の成果物は、新しい安全対策である必要はありません。手元のエージェントのツール一覧を、不可逆性と到達範囲で1枚に分類したとき、「プロンプトで禁止している」で済ませていた判断のいくつかは、別の層へ移せます。
作成日: 2026-10-15