Anthropic はアカウントを停止した。監視システムは動き続けた。

理由は単純です。その時点で、展開済みのシステムはもう Claude に依存していなかった。

2026年9月10日、Anthropic は、それがどう起きたのかを含む脅威インテリジェンスレポートを公開しました。2025年12月から2026年8月に同社が遮断した事例を、七つの harm カテゴリで扱ったものです。その監視(surveillance)の節にある一件が、プロバイダ側の介入が何を達成できるのかという前提を組み直します。

Anthropic が GTG-50027 と識別した運用者は、Bamako 拠点と見られる単独のコンサルタント一人でした。Claude を主たるエンジニアリング労働力として、Lakana 360 という国家規模の監視プラットフォームを構築しています。対象はマリの国家情報機関。全国三社の携帯事業者にまたがる約2,500万の SIM カードを監視し、対象者のドシエを生成する。そしてレポートによれば、記録開示に令状を要求する法的要件を強制していたソフトウェア上のチェックが、運用者の要求でドシエ生成フローから削除されていました。

レポートは続けて、そのプラットフォームがローカルモデルをオンプレミスで動かしており、アカウント停止は展開済みシステムに影響しなかった、と記述しています。

一人。2,500万。手続きチェックの除去。そして、エンジニアリングを担ったモデルの提供元がアクセスを切っても、作られたものは動き続けた。

この記事は、この一件を出発点に、AI を組み込んだシステムで「安全策は誰が所有しているのか」を設計としてどう見るかを扱います。

英語原稿:The Account Was Banned. The Capability Kept Running. ── Towards AI に投稿中

1. 依存には二種類ある

多くの実装者が暗黙に置いている前提があります。

モデル提供者の API 越しに使っている限り、提供者側の安全策が効いている。

これは正しい。ただし「使っている限り」という条件が付いています。

プロバイダが持っている統制面を並べると、こうなります。

**この統制は本物です。**Anthropic のレポートは、大部分がこれが機能した記録でもあります ── 検知され、遮断され、アカウントが停止され、安全策が強化され、当局と業界へ情報が共有されている。

しかし、この統制は利用が提供者に依存している間だけ存在します。

Lakana 360 が露出させたのは、その継ぎ目です。

開発依存と運用依存は、同じものではない。

能力のあるモデルは、コード、システム構成、データパイプライン、運用手順、ツールを生成できます。**それらは、生成元のモデルへの継続アクセスなしに機能しうる。**転移が完了した時点で、アカウントの取り消しは成果物を取り消しません。

2. 三つの経路を混ぜない

「能力が提供者の外へ出る」という話をするとき、混ざりやすい三つがあります。実装者にとっては、この区別が対処を変えます。

経路	計算はどこで走るか	停止で止まるか
独立展開された成果物	運用者の環境	止まらない
蒸留(distillation)	蒸留先のモデル、運用者の環境	止まらない
盗難された API キー	提供者の運用下	止まる(キーを失効すれば)

**盗難キーは、深刻ですが別の失敗様式です。**同レポートには、サイバー事例の複数で運用者が被害者環境から AI の API キーを盗み、他人の資格情報で自分のワークロードを走らせていた記述があります。誰が呼んでいるかを隠し、コストを鍵の持ち主へ移す。

ただし計算は提供者の運用下に残っています。

盗難キーが侵すのは「誰がアクセスを得られるか」であって、依存そのものは消えていない。蒸留と独立展開された成果物は、そのサービスへの継続アクセスの必要を消しうる。

停止の射程外に出るのは、後者だけです。

そして蒸留については、同レポートが主題そのものを書いています。

Anthropic は七つの中国系ラボを不正な蒸留で名指しし、うち一つのキャンペーンは 3,500超の不正アカウントから1日あたり約300万交換でピークに達したとしています。収集されたトランスクリプトは Qwen 系モデルの訓練に使われたと記述し、そのうえで ──

Claude の safeguards は、蒸留された能力とともに転移しない。

**Lakana 360 と同じ構造が、別の経路で来ている。**能力は移る。その周りに作られた統治は、一緒には移らない。そしてここでは、提供者自身が自社モデルについてそう言っています。

3. AI は反乱しなくていい

アライメント研究の大きな分枝は、運用者を欺くモデル、監督に抵抗するモデル、意図しない目的を追うモデルを扱っています。

同じ週、公開の議論もそちらに集中していました。9月8日、OpenAI と Anthropic の両方で事前学習研究をしていた研究者が辞任し、両社とも責任ある振る舞いをしておらず自己改善する超知能へ競争していると書いています。Anthropic の Alignment Science Lead である Evan Hubinger が公に応答し、10年以内に AI が人類を滅ぼす確率について自身の見積もりを10%超とした一方で、現行モデルのリスクは比較的低いと述べ、懸念を将来の超知能と recursive self-improvement に置いています。

どれも真剣な問題で、この記事はそれを否定しません。

ただし、失敗の向きに注目してください。

A では、AI が人間に従わなくなったときに危険が始まります。

B では、AI が「間違った人間」に正しく従うことで危険が始まります。

マリの報告事例は、少なくとも B の構造で説明できます。有害な目的も統合の判断も運用者から来ています。最終的な展開に Claude の継続アクセスは不要でした。**なお、レポートは開発中に Claude の safeguards がどう扱われたかを確定していません。**モデルが一度も拒否しなかった、という主張ではありません。

示されているのは、この報告された経路を説明するために、制御喪失の文献が扱う性質を仮定する必要はないということです。

AI 自身の悪意ある目的 ── 不要
recursive self-improvement ── 不要
意識、自己保存、隠された計画 ── 不要

必要なのは、既に有害な目的を持つ運用者を助けられる程度に、十分に能力があることだけです。

そして有害な目的を AI が発明する必要もありません。**人間は詐欺、強要、監視、抑圧、暴力の動機を既に持っています。**AI が変えるのは、それを実行するコスト ── 必要な専門性、労働量、調整の手間、分析速度、到達しうる規模。

ここで、モデル中心の安全性の語彙がぼかしがちな区別が出ます。

運用者へのアライメントは、その運用者に影響を受ける全員にとっての安全性とは、別物です。

モデルが principal(目的を与え、運用を統制する主体) に対して信頼でき、従順で、極めて有用でありながら、他の全員にとって危険である、ということが成立します。

エージェントはアラインしているかもしれない。問題は principal かもしれない。

**これはアライメント研究を「従順さの研究」に還元するものではありません。**そして「研究者が人間の悪用を見落としている」という主張でもない。Shevlane の structured access、Anderljung と Hazell の misuse chain は、何年も前からこの構造を扱っています。

研究は存在する。public attention が今は別の方向に集中している。

4. self-hosting は、計算だけでなく方針を移す

ホスト型のモデルなら、提供者は監視、レート制限、アカウント停止、モデル更新、不正検知、インシデント対応を保持します。

私有ホストのモデルでは、元の提供者はそのどれも自動的には保持しません。

**安全策が消えるという意味ではありません。**責任ある運用者なら、ローカルで監視を回し、安全チューニングを保持し、ツールを制限し、ログを取り、アクセス制御を課せます。

問いは「ローカルで安全策が存在しうるか」ではありません。

我々が懸念しているその運用者に対して、誰がそれを強制する立場にあるのか。

ここで jailbreak の位置づけが変わります。

**提供者の拒否を回避する必要があるのは、運用者が提供者の方針で禁じられているものを望むときだけです。**重み、展開環境、そして方針そのものを運用者が所有したら、他人の安全規則を回り込むことは、もう問題ではなくなりうる。

運用者が規則を定義できる。

そして、**同じ運用者が自由に無効化できる安全策は、その運用者に対する独立した障壁ではありません。**それはその運用者自身の選好で、いつでも改訂できます。

実装者として分けておく価値があるのは、次の三つです。よく束ねられますが、別物です。

safeguard が存在するか
どの処理に適用されるか
誰がそれを外せるか

Anthropic が報告しているのは「チェックが運用者の要求で外された」という事実で、**これは三番目についての情報です。**外すことが許されていたかについては何も言っていません ── 実装への統制であって、要件を免除する法的権限の証拠ではない。

**ここは強く言いすぎないようにします。**決意ある運用者を何も止められない、という意味ではありません。認証、ネットワーク防御、決済、通信事業者、裁判所、物資アクセス、研究施設、制度的監督が、まだ効きうる。

より狭く、より守れる主張はこちらです。

活動が外部の関門に到達するまでの間、AI スタックの内側に、運用者を拒否する立場の独立した主体がいない場合がある。

同じ統治の移動を、もっと低い stakes で既に見ています。**ローカルの画像生成です。**同等の能力がユーザーの制御下のハードウェアへ移った時点で、元のサービスの拒否方針は最終的な強制レイヤーではなくなりました。同じ構造、まったく違う stakes。

5. 危険な閾値は AGI ではない

よくある問いは「open-weight モデルは最良のクローズドモデルに追いついたか」です。それは本物の問いですが、セキュリティの問いに答えるには十分ではありません。

英国 AI Security Institute は、主要な open-weight モデルとそれ以前のクローズドモデルを比較し、評価対象としたサイバー課題と模擬レンジにおいて 4〜7ヶ月のリリース日差を見出しています ── 前年の見積もりより縮まった。**この差は防御側の準備時間として意味があります。**ただし、フロンティア未満のモデルが全て無害である保証ではありません。NIST の CAISI は別途 Z.ai の GLM-5.2 を高能力な open-weight モデルと評価し、インターフェース水準で動作する safeguards は self-host されると回避されうると明記しています。

モデルはあらゆるベンチマークを制する必要がありません。運用者の専門性、データ、ツール、インフラと組み合わさったときに、ある一つのタスクに必要な能力閾値を越えればいい。

危険な閾値は必ずしも AGI ではないし、必ずしもフロンティア同等でもない。特定の運用者の構成の下で、特定の有害タスクに十分な能力であるかどうかです。

国家に紐づく運用者の場合、実効能力を決めるのはこれです。

Lakana 360 は、この組み合わせが効く理由を示しています。AI 支援のエンジニアリングと、国家に紐づく通信インフラへのアクセスが接続された。

一つ境界を置きます。Anthropic はローカルモデルもその訓練の来歴も特定していません。Lakana 360 が示すのは展開された成果物の独立性であって、open-weight 配布は別の経路です。能力あるモデルを独立して稼働可能にしうる、という点で関係はしますが、一つの物語に畳んではいけません。

見るべき単位は deployed-system capability であって、単体のモデルのベンチマークではない。

ベンチマークのスコアは、この特定の展開がどう振る舞うか、そして誰がそれを止められるかを確定しません。

同レポートは、こうした運用を誰が回せるかについても書いています ── **国家主体と個人を分ける特徴は、もはや洗練度ではなく意図である。**盗難キーで動くハクティビスト、資格情報を収集する金銭目的のグループ、国家系の諜報運用者が、いずれも以前ならチームを要した複数被害者キャンペーンを回していた。変わったのは必要な労働量で、技法ではありません。

そして一部の悪用については、技術的な前提条件はもう完全に未来のものではありません。

問いは「いつ AI は人間の制御を逃れるほど能力を持つか」だけではない。**「有害な人間が私的に統治できるほど、AI は既に能力を持ってしまっていないか」**でもある。

6. ただし「全部閉じれば解決」でもない

ここが、open-weight 反対論より難しくなるところです。

2026年7月、Hugging Face がセキュリティインシデントを公開し、ある非対称を記述しています。調査の過程で、**商用の AI API が、同社が実行する必要のあったセキュリティ解析の一部を拒否しました。**そこでローカルで動かした GLM-5.2 を使っています。ローカル実行は、機微なインシデントデータを自社環境内に留めることも可能にしました。

**これは open 公開の方が安全だという証拠ではありません。**もっと難しいことを示しています。

提供者の統制からの独立は、攻撃者を助けうるのと同じだけ、防御者も助けうる。

セキュリティチームは、ホスト型モデルが解析を拒否する悪性コードを検査する必要があるかもしれない。研究者は再現可能なアクセスが要るかもしれない。機微なデータを扱う組織はローカル処理が要るかもしれない。小国や小規模機関は、重要インフラを外国企業の API 方針に全面依存させたくないかもしれない。

だから政策の問いは「強力なモデルは open か closed か」ではなく、**「その制限は、誰を実際に遅らせるのか」**になります。

そして比較は両方向に走らせる必要があります。

ある公開は、既に代替を持つ主体には能力をほとんど足さない一方で、代替を持たなかった主体を可能にしうる。真面目な比較は、その両方を、防御側の利得と不可逆なコストと並べて数えなければならない。

Daniel Commey の2026年の、非対称な拡散下での open-weight 公開のゲーム理論モデルは、まさにこの構造を扱っています ── 公開が新規に可能にする機会主義的な悪用、取り外し可能な安全策が有効になる条件を含めて。Tobias Sytsma の RAND レポートは、統制下チャネルのコストを上げると活動が統制外へ移りうることをモデル化し、同時に、資金の潤沢な国家主体は一般利用者と同じように価格に反応しないかもしれないと注記しています。

**どちらも仮定を明示した理論枠組みであって、現実世界の測定ではありませんし、公開の一般的な推奨でもありません。**ただし正しい比較を強制します。公開しない場合の対案は、悪意ある主体が AI を持たない世界ではない。制限する場合の対案は、全ユーザーが善良な世界ではない。

7. leverage はどこで終わるか

**教訓は「提供者の安全策が無意味だ」ではありません。**提供者が leverage を保持している場所では、それは有効です。Anthropic のレポートは、その leverage が存在し使われていることのかなりの証拠でもあります。

教訓は、その leverage がどこで終わるかを知る必要がある、ということです。

脅威レポートがアカウント停止を報じたとき、有用な追加の問いはこれです。

実際に取り除かれた依存は何か。

答えは、アクセス、開発、展開、危害で変わりえます。ホスト型サービスの事例の多くでは、Claude のアクセスを遮断することが、運用が依存していたエンジニアリング層を取り除いた。マリの事例では、Anthropic は展開済みシステムに影響しなかったと述べています。

open-weight の公開を評価するときも、既定でモデルがどう振る舞うかだけでなく、能力ある運用者が周辺システムに何をさせられるかを見る必要があります。

そして能力が既に提供者のインフラの外にある場合、残る問いは他の依存についてになります。このケースなら、通信インフラへのアクセスと、それに制限を強制できる制度。技術的アクセス制御と制度的監督は繋がった問いで、レポートはどの介入が有効かを確定していませんし、そのために書かれたものでもありません。

だからセキュリティの対象は「モデル」ではありえません。

capability–operator–infrastructure のシステムです。

一部の AI の能力は既に可搬です。統治は、自動的には一緒に可搬ではありません。

能力が移った後は、モデルの挙動についてのどんな議論よりも、次の三つが有用になります。

介入は実際にどの段階を止めたのか ── アクセス、それ以降の開発、展開、危害のどれか
残った能力はまだ何に依存していて、運用者以外で、その依存を拒否する立場にあるのは誰か
その制限は、防御側の対応能力を削るより多く、敵対側の能力を削るのか

公開されたモデルのコピーを全て回収することはできません。強力なシステムが全て提供者の監視境界の内側に留まると仮定することもできません。

しかし、能力を取り消せないことと、危害を減らせないことは同じではありません。

不可逆性は、残った独立した関門を消しません。それらをより重要にします。

AI の安全性は、モデルを安全にするところで止まれません。モデル提供者の統制を離れた後の能力を、追いかける必要があります。

出典

Anthropic, Detecting and countering misuse of AI: September 2026(2026年9月10日公開)。Lakana 360 の事例は GTG-50027 として記載
https://www.anthropic.com/threat-intelligence-report-september-2026
UK AI Security Institute, How Far Behind the Frontier are Leading Open Weight Models on Cyber?
https://www.aisi.gov.uk/blog/how-far-behind-the-frontier-are-leading-open-weight-models-on-cyber
NIST / CAISI, CAISI Assessment of Z.ai's GLM-5.2(2026年7月17日)
https://www.nist.gov/news-events/news/2026/07/caisi-assessment-zais-glm-52
Hugging Face, Security incident disclosure(2026年7月16日)
https://huggingface.co/blog/security-incident-july-2026
Toby Shevlane, Structured access: an emerging paradigm for safe AI deployment(2022)
https://arxiv.org/abs/2201.05159
Markus Anderljung and Julian Hazell, Protecting Society from AI Misuse: When are Restrictions on Capabilities Warranted?(2023)
https://arxiv.org/pdf/2303.09377v3
Erik Jones, Anca Dragan, Jacob Steinhardt, Adversaries Can Misuse Combinations of Safe Models(ICML 2025)
https://proceedings.mlr.press/v267/jones25a.html
Daniel Commey, Who Does Withholding Delay? A Game-Theoretic Model of Open-Weight AI Release Under Asymmetric Proliferation(2026)
https://arxiv.org/abs/2607.22957
Tobias Sytsma / RAND, Buying Time Against AI Proliferation: The Economics of Governed Access(2026)
https://www.rand.org/pubs/research_reports/RRA4996-1.html
OpenAI, Re: Updated Stakes for American-Led, Democratic AI(2026年2月12日)、米下院特別委員会への提出文書
https://cdn.openai.com/pdf/045aa967-ee96-4a09-94ee-3098ddf6db2c/OpenAI-US-House-Select-Cmte-Update-%5B021226%5D.pdf

AI利用の開示

本稿の調査、反論生成、対抗仮説の検討、構成・編集に GPT と Claude を使用しました。

外部事実と引用については、別工程で出典へ再照合しています。一次資料による支持を確認できなかった主張は、削除または射程を限定しました。また監査の過程で、盗難 API キーを「能力が提供者の外へ出る経路」として扱っていた初期分類を修正しています。

論旨、証拠境界、採否、公開に関する最終責任は筆者にあります。