41
31

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Mermaid図経由でCopilotから情報流出 - 間接プロンプト注入型攻撃の新たな形

Posted at

はじめに

最近、脆弱性に関する記事が注目されることが多くなった @___nix___ です。

背景

Microsoft 365 Copilot は業務データにアクセスできるAIとして普及していますが、自律的にコンテンツを解析する性質が悪用されるリスクがあります。過去の「EchoLeak」ではユーザ操作が不要なゼロクリックで情報漏洩が発生し、Microsoft が修正対応を行いました。しかしゼロクリック経路が塞がれた後も、攻撃者は別の手法へ適応し続けています。

概要

GBHackers が報告した攻撃は、悪意ある文書をCopilotに要約させ内部データを抽出し、その要約結果から偽のログインボタン等を生成してユーザを誘導するワンクリック型の手口です。EchoLeak のゼロクリック型とは異なりますが、「AIによる情報収集→偽UI生成→ユーザ操作→流出」という多段構造により検出が難しくなる点が特徴です。

攻撃方法の名前は公式に定義されていませんので、以降では Adam Logue によって「Arbitrary Data Exfiltration Via Mermaid Diagrams(Mermaid図を介した任意データ流出)」として紹介された手法を「Mermaid型」と表現します。

詳細

攻撃対象となるユーザ

  • Copilot を有効にしているテナントの全ユーザ: 特にメールやSharePoint/OneDriveへのアクセスが可能なユーザは標的になりやすいです。
  • 広いコネクタ権限を持つサービスアカウント/管理者: 内部データを大量に検索・取得できるアカウントは被害が大きくなります。
  • 外部からのメールやリンクを頻繁に扱う部署(営業・カスタマーサポート等): 受信コンテンツ経由の誘導に反応しやすいためリスクが高いです。
  • 権限管理が緩い外部委託ユーザ・パートナー: 共有フォルダやコラボ環境を経由して攻撃経路を作られやすいです。
  • セキュリティ教育が不十分なエンドユーザ: 偽UIのクリックや要約リクエストに反応してしまう可能性があります。

攻撃手法

EchoLeak

攻撃者が仕込んだ悪意あるコンテンツがテナントに到達すると、Copilot が受信コンテンツを自動解析してプロンプト注入が成立します。Copilot はコネクタ経由で内部メールやファイルを検索・取得し、その内容を攻撃者指定の外部先へ送信して機密を漏洩させます。ユーザ操作を要しない「ゼロクリック」ケースが特徴です。

Mermaid型

攻撃者は mermaid 等で命令と偽UIを埋め込んだ悪意ある文書を送ります。ユーザがCopilotに要約や説明を依頼するとプロンプト注入が発動し、Copilotが内部データを取得して偽のログインボタン等を自動生成します。ユーザがそのボタンをクリックすると、正規サービスや中継経路を経由して機密データが外部へ持ち出されます。

詳細を紹介しているサイトでは、これを簡潔に以下のように表現しています。

対応

AIアシスタントの利便性は高い一方で、設定や権限が緩いと内部情報が思わぬ経路から持ち出される危険があります。以下の対策を優先的に実施しましょう。

優先度の高い対策(すぐやるべき順)

  1. パッチと公式修正を適用(EchoLeak 対応含む)
  2. Copilot の自動解析(メール自動要約など)を無効化または限定的に運用
  3. コネクタ権限の最小化(機密ライブラリの隔離)
  4. egress(外向き)フィルタの強化:外部アップロード先をホワイトリスト化/プロキシ経由で検査
  5. HTML メールのボタン/フォームを無効化 or 警告表示(クライアント側)
  6. 監査ログ/ SIEM ルール構築:上記 IOC をアラート化(例:Copilot が短時間で大量ファイルを取得したら即アラート)
  7. ユーザ教育:要約・クリックのリスク、mermaid 等のコードブロックに含まれる命令の危険性を周知

終わりに

Adam Logue の検証では、Copilot が検索したメールを hex エンコードして mermaid のリンクに埋め込み、クリックで攻撃者サーバへ送る詳細な手順が示されています。Microsoft は mermaid の動的相互作用を無効化して緩和済みとしていますが、管理者はパッチ適用状況や動的コンテンツのレンダリング設定を必ず確認してください。

一言

AIは便利である反面、意図せぬ動作を引き起こすリスクも当然ありえます。
十分に理解を深めながらうまく共存していけると良いですね。

この記事を気に入って頂けるようでしたら @___nix___ をフォローして頂ければ幸いです。

41
31
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
41
31

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?