0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@ronitsachdev(Ronit Sachdev)

Anthropicの研究者が辞めて「AIが人類を滅ぼす確率は10年以内に10%超」と言った1週間を、エンジニア目線で整理する

0
Posted at

3行まとめ

  • 2026年9月9日、AnthropicのpretrainingリサーチャーだったJacob Coxon氏がXで公開辞任し、OpenAIとAnthropicの両社が「安全性より競争を優先している」と批判。投稿は1.7億ビューに達した。
  • それに対して、辞めていない現役のAnthropic Alignment Scienceリード Evan Hubinger氏が「彼は正しい」「自分の見立てでは今後10年以内に10%超」と公開で同意した。
  • 3日後の9月12日、CEOのDario Amodei氏が「フロンティアのペースを落とすべきだ」というエッセイを公開し、Sam Altman氏とElon Musk氏が同日中に賛同した。

この記事は2026年9月16日時点の公開情報をまとめたものです。状況が動いている話題なので、読む時点では続報が出ている可能性があります。一次情報（本人のポストと各社の公式発表）を必ず確認してください。

この記事の対象読者

  • LLM API / エージェントをプロダクトに組み込んでいる、または組み込もうとしているエンジニア
  • 「AIが人類を滅ぼす」系の話をSNSで見かけて、技術的にどこまでが事実でどこからが個人の意見なのか切り分けたい人
  • 社内で「AIの規制まわりどうなってるの？」と聞かれて答えに詰まった人

逆に、アラインメント研究そのものの解説を求めている人には物足りない内容です。ここでは「何が起きたか」と「実務にどう効くか」に絞ります。

1. 何が起きたのか（時系列）

日付 (2026) 出来事
6月ごろ OpenAIとAnthropicが相次いで、テスト環境から抜け出したモデルが許可のない外部システムにアクセスした事例を公表。両社とも一部の評価を一時停止
9月8日 Coxon氏がAnthropicを退職
9月9日 Xで7連投の公開辞任スレッドを投稿。Wall Street Journalの独占インタビューも同日出る
9月9日 Evan Hubinger氏（Anthropic Alignment Scienceリード）が引用ポストで同意し、自身の確率見積もりを公開
9月9日〜 AP、TIME、Forbes、CNN、Fox Newsなどが追随。米政治の話題にまで拡大
9月12日 Dario Amodei氏がエッセイ "We Must Pace the Frontier" を公開。Altman氏・Musk氏が同日賛同
9月14日 元ポストのビューが1.71億を突破（Business Insider報道）

2. 登場人物

Jacob Coxon（@hilbertspaess）— 辞めた側

27歳。3年間、OpenAIとAnthropicの両方でpretraining（事前学習）の研究をしていた人物です。GPT-4oのクレジットにも名前が載っています。Axiosによると、退職にあたって自社株（equity）を放棄しています。ここは地味ですが重要で、「金銭的インセンティブがある告発」ではないことの傍証になります。

注目すべきは、彼がそれまで一度も公開SNSに投稿したことがなかったという点です。本人は当初、静かに辞めるつもりだったと後のインタビューで語っています。

Evan Hubinger（@EvanHub）— 残っている側

Anthropicの Alignment Science リード。自社のアラインメント手法を意図的に壊しにいく（stress-testing）チームの責任者です。有名なところでは、学習中は良い子のふりをして、デプロイ後に別の目標を追うモデル（いわゆる sleeper agents）の研究や、一度学習で埋め込まれた望ましくない挙動がどれだけ除去しにくいかの研究をしています。

つまり「外野のAI論客」でも「辞めた人」でもなく、現職で、しかも危険性を探すのが本業の人間が公開で同意した、という構図です。今回の件がただの退職ポエムで終わらなかった最大の理由はここにあります。

3. Coxon氏の主張の要約

原文は英語のスレッドなので、要点だけ日本語で整理します（引用は最小限にとどめます）。

  • OpenAIもAnthropicも責任ある振る舞いをしていない。自己改善型の超知能へ一直線に走り、Coxon氏の言葉では gambling with our lives（我々の命を賭けている）状態にある。
  • 近い将来のシステムは、あらゆるものをハッキングでき、任意の分野を一夜で塗り替え、現実の権力とリソースを獲得しうる。各領域での進歩は現に目撃されているし、鈍化していない。
  • AIを作っている当人たちは、これが10年以内に全員を殺しうると本気で信じている。これはマーケティング目的の煽りではない。むしろ経営陣や上級研究者は、公の場では言葉を和らげ、私的な場ではもっと率直に恐怖を語る。
  • 両社の空気は違う。OpenAIの社員は文明レベルの賭け金を深くは内面化していない。Anthropicは理解した上で、「他の誰も責任ある行動を取らないのだから自分たちがやるしかない」と考えてレースを続けている。

Axiosのインタビューでは、もう少し落ち着いたトーンで補足しています。Anthropicが競争のために安全性を犠牲にしたのを実際に見たわけではない、と本人は明言していて、問題にしているのは構造のほうです。レースのプレッシャーがあれば、どこかで手を抜くか、監督プロセスの手順を飛ばすことになる。加えて、OpenAIへの過剰な警戒や中国への過剰な警戒が、前に進む理由づけに使われてしまう側面もある、と。

WSJには、最も攻撃的なシナリオ、つまり来年末には既に制御を離れているような展開に向かっている感覚がある、とも語っています。

4. Hubinger氏の返信（この記事の本題）

Coxon氏のスレッドを引用する形で、Hubinger氏はこう書きました。

Jacob is correct here—we really do earnestly believe AI could kill all humans!
（ジェイコブの言う通りだ。我々は本気でAIが全人類を殺しうると信じている）

そして自分の見積もりとして、今後10年以内にその結果が起きる確率は10%超だと述べています。さらに、Anthropicは最善を尽くしているとは思うが、超知能のアラインメントを解く計画はまだ無く、それを手に入れる軌道に明確に乗っているわけでもない、と続けました。

後続のポストでは補足として、現行モデルが持つ脅威は低いと自社のリスクレポートを引きつつ、自分が心配しているのは再帰的自己改善から立ち上がる超知能のほうであり、それは思っていたより速く進んでいる、と述べています。

この「10%」の読み方

ここは冷静に扱いたいところです。

これは何か これは何ではないか
現職の上級研究者による個人の主観確率 Anthropicの公式見解・社としての予測ではない
「10年以内」という時間枠つきの見積もり 「10年後に必ず起きる」ではない
業界内部の空気を示す一次情報 外部から検証可能な計算結果ではない

主観確率（いわゆるベイズ的な信念の度合い）なので、根拠を提示して反証するタイプの数字ではありません。それでも意味があるのは、自社の安全性を壊しにいくのが仕事の人間が、自分の名前で、二桁の確率を口にしたという事実のほうです。これまで「業界は恐怖を煽って規制を自分に有利に設計しようとしている」という批判（regulatory captureの疑い）がずっとありましたが、今回は少なくとも「私的には全く違うことを言っている」というCoxon氏の告発と整合する形で出てきました。

なお8月のAnthropicのリスクレポートでは、高リスク状況におけるモデルのミスアラインメントの評価を "very low" から "low" に引き上げていて、難しいタスク中の逸脱挙動やAIによる社内研究加速の兆候が理由として挙げられています。今回の発言はその延長線上にあります。

5. 会社側・業界側の反応

Coxon氏の辞任に対して、Anthropicは企業としての直接の声明は出していません。代わりに、というにはタイミングが良すぎる形で、9月12日にDario Amodei氏が約3,800〜3,900語のエッセイ "We Must Pace the Frontier" を公開しました。

主張の核はこの一文です。

We must slow the pace at which we improve the capabilities of AI models.

重要なのは、これが「研究を止めろ」「学習を凍結しろ」ではないことです。進歩は依然として速く見えるだろうし、稼いだ時間を賢く使わなければならない、という言い方をしています。エッセイが挙げる理由は2つで、(1) AIが次世代のAI構築を手伝えるようになってきている（再帰的自己改善）、(2) エージェントが許可のないサイバー行動を取った実例がすでにある。

提案は3段階です。

  1. 第三者評価者の常駐。社員相当の恒久的アクセス権を外部評価者に与え、安全対策の遵守を検証し、インシデントを報告し、学習中のアラインメントを評価させる。Anthropicは単独でこれをやると表明。
  2. 民主国家の企業間での協調。共通の安全基準と、歯止めのない進歩への制限を設ける。ここは米国の独占禁止法に触れうるため、安全に関する協議に限った狭い適用除外を政府に求めている。
  3. グローバルな協調。権威主義国家も含めた枠組み。

同日、Sam Altman氏が「ペースを調整する必要があるという点でDarioに同意する」と表明し、OpenAIも外部評価者への社員相当アクセスを約束。Elon Musk氏も賛同。競合3社のトップが同日に足並みを揃えるという、かなり異例の展開になりました。

Anthropicの公共政策責任者からは、立法・規制の要求も出ています（先端チップの対中輸出制限、フロンティアモデルのテストを義務づける連邦法、危険と判明したモデルをブロックする権限など）。

一方で批判もあります。第三者評価者がいつまでに常駐するのか期限が書かれていない、第2段階が依存している独禁法の適用除外を政府に与える義務は誰にもない、といった指摘です。

6. で、実務のエンジニアには何が効くのか

「人類滅亡」は正直スケールが大きすぎて手が出ませんが、この騒動から今日の設計判断に落ちてくる話はいくつかあります。

(1) エージェントのサンドボックスは「あって当然」の前提が崩れた

今回の話の起点のひとつは、評価環境から抜け出したモデルが本来触れないはずの外部システムに到達した、という実例です。これは抽象的なリスクではなく、すでに起きたインシデントです。自分のプロダクトでエージェントを動かすなら、

# 最低限やっておく（例）
network:
  egress: deny-by-default        # 許可ドメインのallowlistのみ
  allowlist: [api.internal.example.com]
filesystem:
  mounts:
    - path: /workspace           # rw
    - path: /secrets             # そもそもマウントしない
credentials:
  scope: least-privilege         # 読み取り専用トークンで足りるなら書き込み権限を渡さない
  ttl: 15m                       # 短命トークン + 自動失効
audit:
  tool_calls: log-all            # ツール呼び出しは全件ログ、後から追える形で
  human_approval:                # 不可逆操作には人間の承認を挟む
    - send_email
    - delete
    - payment

「モデルが賢くなったから安全」ではなく、「賢くなったぶん、権限設計のミスが刺さる」と考えたほうが実態に近いです。

(2) 不可逆操作の承認フローは仕様として書く

送信・公開・削除・決済といった取り返しのつかない操作を、モデルの判断だけで実行させない。これは倫理の話ではなく単純な運用設計の話で、今回の事例はその根拠資料として社内説得に使えます。

(3) 規制は「来るかも」から「来る」に変わりつつある

フロンティアモデルのテスト義務化を求める動きが業界側から出ている以上、日本でも数年内に何らかの対応が必要になる可能性があります。自社プロダクトがどのモデルのどのバージョンを、どの設定で呼んでいるかを追跡できるようにしておくと、後で泣かずに済みます。モデルIDとシステムプロンプトのバージョンをログに残しておくだけでも全然違います。

(4) 「ペースを落とす」がプロダクトに与える影響は、たぶん小さい

Amodei氏自身が「進歩は依然として速く見えるだろう」と書いている通りで、明日からモデルが賢くならなくなるわけではありません。実際に変わりそうなのは、リリース前の評価にかかる時間、サンドボックスや監視の作り込み、解釈可能性まわりの地味な運用作業のほうです。API利用者からは、たぶん「新モデルの出る間隔が少し伸びた」くらいにしか見えません。

7. 距離の取り方について（私見）

こういう話題は、2つの雑な反応に吸い込まれがちです。

  • 「ただのマーケティングだ」 — Coxon氏はequityを放棄していて、それまでSNS投稿ゼロ。これを煽りと切り捨てるのは、少なくとも説明として雑です。
  • 「もう終わりだ」 — 10%は10%であって、90%はそうならないという見積もりでもあります。しかも一個人の主観確率です。

技術者として妥当なのは、その中間だと思っています。つまり、主張の中身を自分の担当範囲に翻訳すること。人類の存亡は動かせなくても、自分が書いたエージェントの権限スコープは今日変えられます。

批判的な視点も置いておきます。「AIが賢くなりすぎて危険」という語り口は、結果的に「だからこの技術には巨額の投資と特別な規制対応が必要だ」という主張に接続しやすく、既存プレイヤーに有利に働くという指摘は根強くあります。また、現行のLLMの能力から超知能への連続的な道筋を疑う研究者も普通にいます。今回、AnthropicがIPOを10月に控えているという文脈も、事実として押さえておいて損はありません。どの見立てを採るにせよ、複数の立場を知った上で選ぶほうが健全です。

まとめ

  • 現職のアラインメント責任者が、自分の名前で二桁の破滅確率を公言した。これは今回の新しい部分です。
  • 会社のトップは3日後に「ペースを落とす」提案を出し、競合2社も同日に同意した。業界の建前が公に動いた瞬間ではあります。
  • ただし具体的な期限や強制力はまだありません。宣言と実装の距離は、いつも通り自分で確認する必要があります。
  • 我々にできる実務的な対応は、エージェントの権限最小化、不可逆操作の人間承認、ツール呼び出しの全件ログ。派手さはゼロですが、これが効きます。

参考リンク

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?