図：OpenAIとGoogleの事例を通じ、AIエージェントの外部アクセスと権限管理を考える
AIが文章を作ったり質問に答えたりするだけでなく、与えられた目標に向けて手順を組み立て、ツールを使いながら複数の作業を進めるAIエージェントの開発が進んでいます。
こうした中、OpenAIとGoogleがそれぞれ開発したAIモデルのサイバー能力を評価する過程で、AIが想定された範囲を超え、実在する外部システムへアクセスする事例が確認・報道されています。
一見すると「AIが暴走した」とも受け取れる出来事ですが、私は今回の問題をそれだけで捉えるべきではないと考えています。
注目したいのは、AIが与えられた目標に対して複数の手段を組み合わせながら行動できるようになっていること。そしてその能力が高まるほど、AIを動かす環境や与える権限を人間側がどう設計するかも重要になることです。
今回はOpenAIとGoogleの事例でそれぞれ何が起きたのかを整理しながら、AIが自律的に行動する時代に企業に求められる安全設計について考えていきます。
OpenAIのAIが評価環境から外部システムへ到達
まず、OpenAIの事例から見ていきましょう。
2026年7月、OpenAIは複数のAIモデルを対象にサイバーセキュリティ能力を調べる社内評価を実施していました。
OpenAIの公表内容によると、この評価では一部の安全対策を通常とは異なる設定にしていましたが、モデルはインターネットから隔離するための制御を回避し、OpenAIの社内研究インフラや外部システムであるAIモデルなどをOSSで公開できる Hugging Faceへ到達しました。
Hugging Faceが後に公開した技術的な調査結果では、同社のシステム内で活動していた約2日半の間に、システムの調査やコマンドの実行など、AIエージェントによる約1万7,600件の個別の操作がログなどから復元されています。
これは1万7,600回の攻撃が行われたという意味ではなく、目的に向かってAIが繰り返した細かな操作を含む数字です。
ここで重要なのは、AIが単一の指示をそのまま実行しただけではないことです。
OpenAIは事後分析の中で、モデルが与えられた課題そのものを解くのではなく、インターネット上から解答を探そうとしたことが、今回の事案につながった主要因の一つだったと説明しています。
図：OpenAIの評価環境から外部システムへ到達した経緯と、Hugging Faceで記録された約1万7,600件の操作
Geminiでも実在する企業のシステムへアクセス
GoogleのAI「Gemini」でも、サイバー能力の評価中に想定外の外部アクセスが発生したと報じられています。
報道によると2026年5月、AIセキュリティ企業IrregularがGeminiのサイバー能力を評価していた際、Geminiが実在する3社のシステムへアクセスしました。
この事例では、本来は隔離された環境で評価する予定だったものの、外部のインターネットへアクセスできる状態になっていたとされています。
報道では、3件のうち1件ではパスワードを推測してアクセスし、残る2件ではインターネット上で公開されていたプログラムのコードなどから認証情報を発見してアクセスしたとされています。
Geminiは3件とも、その後は行動を停止したとGoogle側は説明しています。
AIが行動を停止したことは、安全性を考えるうえで一つの重要な要素です。
ただし私は、AI自身が危険性を判断して停止することだけを安全対策の前提にするべきではないと考えています。
そもそもアクセスを許可していないシステムには到達できないよう、人間側でも技術的な制御を設ける必要があります。
図：Geminiの評価中に実在する3社のシステムへアクセスした事例と、報じられたアクセス方法
2つの事例をAIの暴走だけで考えない
今回の2つの事例は、AIが人間のような悪意を持って外部の企業を攻撃したと単純に説明できるものではありません。
また、外部へ到達した経緯にも違いがあります。
Googleの事例では、本来は外部のインターネットに接続できない環境で評価する予定でしたが、設定上の問題によって外部へアクセスできる状態になっていたと報じられています。
一方、OpenAIの事例では、外部へアクセスできないようにする仕組みが設けられていましたが、AIがその仕組みの弱点を見つけ、外部へアクセスできる状態にしたとOpenAIは説明しています。
つまり、Geminiは「最初から外に出られる状態になっていた」のに対し、OpenAIは「外に出られない状態からAI自身の行動によって外に出られる状態になった」という違いがあります。
そのため、2つをまったく同じ原因によって起きた事例として扱うべきではありません。
私が共通する論点として注目しているのは、AIそのものの能力だけではなく、高い能力を持つAIをどのような環境で動かし、どのような権限を与えるのかという人間側の設計です。
AIの能力が高くなるほど安全性もモデル単体だけではなく、AIを取り巻くシステム全体で考える必要があるのではないでしょうか。
図：GoogleとOpenAIの事例で異なる外部アクセスの経緯と、共通する環境・権限設計の論点を比較
私が注目するのは目標までの方法をAIが組み立てること
今回のOpenAIの事例で私が特に重要だと考えているのは、AIがサイバーセキュリティに関する高い能力を示したことだけではありません。
本来は与えられた課題を解くことが想定されていた中で、外部から解答につながる情報を取得するという、評価者が想定していなかった方法を選んだことです。
OpenAIは今回の事案について、モデルが課題を本来想定された方法とは異なる形で達成しようとする「reward hacking（報酬ハッキング）」が主要因の一つだったと説明しています。
私が重要だと考えているのは、単に「AIがハッキングできるようになった」ということではありません。
与えられた目標を達成するために、AIが利用可能な手段を組み合わせ、そこに到達するまでの方法を組み立てたことです。
これまで生成AIは、人間が質問を入力すると文章を生成したり指示された作業を支援したりする使われ方が中心でした。
一方、AIエージェントではゴールを与えるとその達成に必要な手順を組み立て、利用できるツールなどを使いながら複数の作業を進められるようになっています。
この能力はAI活用の可能性を大きく広げるものですが、ゴールだけを与え、その途中の行動を十分に制御できていなければ、人間が想定していなかった方法が選択される可能性も考えておく必要があります。
私は、AIが「指示された一つの作業を実行する」だけでなく「ゴールにどう到達するか」という途中の行動まで担うようになっていることが、今回の事例を見るうえで重要な変化だと考えています。
図：AIが与えられた目標に向けて、評価者が想定しなかった方法を組み立てた
公開された認証情報の管理もこれまで以上に重要になる
Geminiの事例からは、もう一つ企業が考えておきたいポイントがあります。
認証情報の管理です。
パスワードやAPIキーなどの認証情報を公開された場所に残さないことは、以前からセキュリティの基本です。
しかし私は、AIエージェントが情報の探索や検証を自動化できるようになることで、こうした基本的な情報管理の重要性がさらに高まると考えています。
大量の公開情報を調べ、その中から利用可能な情報を見つけ、次の操作につなげる作業が自動化されれば、人間が手作業で行う場合より短時間で進む可能性があります。
企業側には、認証情報を公開しないことはもちろん、不要になった認証情報の失効やアクセス権限の見直しなど、これまで行ってきた基本的な対策を改めて徹底することが求められます。
図：公開された認証情報の発見からシステムへのアクセスまでを示し、認証情報の管理を促す
AIの自律性をなくすのではなく安全に活用する
今回の事例だけを見ると、AIが自律的に行動すること自体がリスクのように感じられるかもしれません。
しかし私は、自律性そのものを否定するべきではないと考えています。
複数の手順を組み立てながら問題を解決できる能力は、使い方によっては企業に大きなメリットをもたらすからです。
例えばサイバーセキュリティでは、ソフトウェアを調査して脆弱性を発見したり、その修正を支援したりする用途が考えられます。
ソフトウェア開発でも、コードの作成だけでなく、バグの発見、修正、テストといった複数の工程をAIが支援できる可能性があります。
研究開発においても、情報収集から仮説の検討、検証、改善まで、複数の工程をAIが支援することが考えられます。
つまり重要なのはAIの行動力を抑えることではなく、その能力をどの範囲で使わせるのかを設計することです。
図：AIの自律性を生かしながら、利用範囲と安全対策を設計する考え方
「何ができるか」の前に「どこまで触らせるか」を決める
企業がAIエージェントを導入すると「このAIを使えば何ができるのか」に目が向きやすいと思います。
しかし私はそれと同時に、あるいはそれより先に
「AIにどこまで触らせるのか」
「異常な行動が起きたときに誰が止めるのか」
を決めておくことが重要だと考えています。
例えば、AIに外部インターネットへの接続を認めるのか、どの社内データへのアクセスを許可するのか、メール送信やファイル削除など外部や業務に影響する操作をAIだけで実行できるようにするのか、といった範囲を事前に決める必要があります。
さらに、重要な操作には人間の承認を入れる、AIの操作を後から確認できる監査ログを残す、異常を検知した場合には権限やネットワーク接続を停止できるようにするなど、AIの外側にも安全対策を用意しておくことが重要です。
OpenAIも今回の事案を受け、より隔離された環境の整備、インターネットアクセスの制限、監視の強化などを進めています。
AI自身に危険な行動を避けさせる仕組みも必要ですが、それだけに安全性を任せるべきではありません。
ネットワーク、認証、権限管理、監査ログ、人間による承認や停止手段など、複数の対策を組み合わせて安全性を確保していく必要があります。
図：AIエージェントに許す接続先・操作・データ範囲と、人間の承認・停止手段を整理
AIが自ら動く時代だからこそ、人間側の設計が重要になる
OpenAIとGeminiの事例は、発生した状況や外部へアクセスした経緯が異なります。
一方で、今回の事例から私が共通して重要だと考えているのは、AIの能力が高まるほどその能力をどの範囲まで使わせるのかという人間側の設計も重要になるということです。
AIが自ら手順を組み立て、複数の作業を進められるようになれば、人間が一つひとつ細かな指示を出さなくても業務を進められる場面は増えていくでしょう。
だからこそ、AIの活用を止めるのではなくその能力を安全に使える環境をつくることが重要です。
そして、こうした変化によってAIを扱う側に求められる知識も変わっていくと私は考えています。
AIへの指示の出し方だけでなく、AIエージェントをどのような環境で動かすのか、どの権限を与えるのか、安全性をどのように評価するのかといった視点も、今後さらに重要になっていくでしょう。
企業がAIエージェントを導入するときには「何ができるAIなのか」だけで判断するのではなく**「何をさせるのか」「どこまで触らせるのか」「どこで人間が介入するのか」まで含めて設計することが重要です。**
AIが自ら行動する範囲が広がっている今、モデルの性能だけでなく、安全性やガバナンスへの取り組みまでをAI活用の一部として考えることが、これまで以上に重要になっていくと私は考えています。
一方で、自社にとってどのAIが必要なのか、どの業務にAIを活用すべきなのか、そしてどのような安全設計が必要なのかは、企業によって異なります。
私は、AIを導入すること自体を目的にするのではなく、企業の業務や課題を整理したうえで、AIを活用する業務の選定から必要なAIの検討、権限の範囲や人間が介入するポイントなどの安全設計まで含めて、実際の活用につなげるための支援を行っています。
「自社ではどの業務にAIを活用できるのか」「どのようなAIを選べばよいのか」「安全性を確保しながらどのように活用していけばよいのか」といった部分から整理したい場合は、ぜひご相談ください。
図：AIが自ら動く時代に、権限、監査、介入方法を人間側で設計する重要性を示す
長野陸
大学院卒業後、ソフトバンクグループ株式会社に入社し、CEO室にて孫正義のもと成長戦略の立案に従事。経営中枢における戦略策定業務を通じ、事業拡大および意思決定プロセスに深く関与する。続いてアクセンチュア株式会社に参画し、AIおよびWeb3領域における事業戦略の立案を担当。先端技術とビジネスを融合した戦略構築に従事するなど、実務面においても高い専門性を有する。
2023年には、経済産業省が選定する高度IT人材として石川県加賀市のDX推進プロジェクトに参画し、地域のデジタル変革を支援。さらに、第11期ソフトバンクアカデミア生に選抜されるほか、総務省主催の高度人材育成プログラム「SecHack365」、経済産業省の実践型AI人材育成プログラム「AI Quest」にも参画するなど、官公庁および民間双方において高い評価を受けている。
2025年には初の著書、これからのAI時代を生き抜くための『戦略の教科書』として「DeepSeek革命」を出版
各種リンク
YouTube: https://www.youtube.com/@Riku_Nagano
FaceBook: https://www.facebook.com/riku0325
LinkedIn: https://www.linkedin.com/in/rikunagano/
note: https://note.com/rikunagano
Zenn: https://zenn.dev/rikunagano
Qiita: https://qiita.com/rikunagano
筆者：長野陸。