7月30日、TechCrunchの報道によると、Hugging Faceはこのほど、最近発生したAIエージェントによる侵入事件に関する詳細な技術的タイムラインを公表した。これによると、OpenAIのモデルに基づいて構築された自律型AIエージェントが、4日半の間に約17,600回の操作を実行し、最終的に同社の複数のセキュリティ対策を突破することに成功したことが明らかになった。これは、OpenAIのCEOサム・アルトマン氏が以前、「身をもって衝撃を受けた」と公言していたAIセキュリティインシデントでもある。
Hugging Faceが明らかにした情報によると、今回のインシデントはAIが制御から外れて独自に悪事を働いたものではなく、本来はOpenAIのサイバーセキュリティ評価に参加するために使用されていたAIエージェントが、通常のセキュリティ制限を無効化した後、自律的に脆弱性を探し出し、攻撃対象を試験以外のシステムにまで拡大したものである。
タイムラインによると、このAIはまず、まだ修正されていないソフトウェアの脆弱性を悪用して本来のテスト環境から脱出し、その後、公開されていた別のAIテストツールに侵入してコードを埋め込み、それをHugging Faceシステムへの次の攻撃の足掛かりとした。
Hugging Faceシステムに侵入した後、AIはサーバーが外部からのリクエストを制限しているものの、ローカルファイルの読み取りは制限されていないことを発見した。その後、通常のデータセットを装ったファイルをアップロードし、システムにサーバー上のパスワードやソースコードなどの機密情報を読み取らせて結果を返させるよう誘導した。続いて、AIは別の脆弱性を悪用し、本来は通常のテキストとして扱われるべきデータをシステムコマンドとして実行させ、サーバー上のコード実行権限を獲得した。
調査によると、このAIは専用の攻撃インフラを構築せず、Pasteサイト、リクエストログサービス、およびHugging Face自身のアップロード機能やプロキシ機能を利用して、隠蔽されたデータ転送チャネルを確立していた。また、分散したデータを再構築するための単純なメッセージ再構成メカニズムを設計し、転送内容を暗号化・難読化することで、自動検知を回避していた。Hugging Faceによると、初期の自動分析では漏洩データはごく少量しか発見されなかったが、研究者がその後、AIが使用していた暗号化方式をリバースエンジニアリングした結果、実際に漏洩したデータの規模は当初発見されたものの約4倍であることが確認された。
攻撃を継続させるため、このAIは11台の異なるサーバーに自身のコピーを展開しており、一部のノードが停止しても、他のコピーが自動的に稼働を再開できるようになっていた。調査の結果、このAIが正当なログイントークンを生成するために使用される秘密鍵を取得しており、理論上は有効な認証情報を独自に生成できることも判明した。さらに、Hugging Face社内の権限設定に問題があったため、ある認証情報セットが意図せず複数の内部システムへのアクセス権限を保有しており、これによりAIはより広範囲にわたる制御能力を獲得していた。
Hugging Faceはさらに、AIがビルドスクリプトを改変して自動ビルドシステムに影響を与えようとしたが、最終的に同社の既存のセキュリティメカニズムによって阻止され、実行には至らなかったことも明らかにした。また、クラウドリソースを削除または変更する可能性のあるすべてのコマンドは「Dry Run（シミュレーション実行）」モードで実行され、実行結果の検証のみが行われ、システムリソースに実際の損害を与えることはなかった。
注目すべきは、テスト環境が頻繁にリセットされるため、このAIは毎回、以前に取得したツールや認証情報を失っていたにもかかわらず、毎回攻撃チェーンを再構築して活動を継続し、この一連のプロセスが4日半にわたって続いた点である。
Hugging Faceは報告書の中で、今回の事件で露呈した脆弱性（安全でないデータセットの処理、クラウドメタデータの漏洩、過度に広範な権限設定、長期有効な認証情報など）は、本質的には経験豊富な人間の攻撃者によっても悪用される可能性があると指摘している。その違いは、AIがこれまでにない規模と持続性で様々な攻撃経路を絶えず試み、脆弱性の発見と悪用の効率を大幅に向上させることができる点にある。