1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

【初参加】CODE BLUE 2025レポート:体感したトレンドとAIの脅威

Posted at

はじめに

先月、CODE BLUE 2025に参加してきました。私は普段、SRE兼セキュリティエンジニアとして働いています。過去、SREとして技術系のイベントにはいくつか参加してきましたが、セキュリティ特化のオフラインイベントは今回のCODE BLUEが初めてでした。

これまでの技術イベントとは異なり、具体的な攻撃手法から法律の話まで、セキュリティという領域の「広さ」と「深さ」に圧倒された2日間でした。

技術的な詳細は、他の方のレポートにお任せするとして、(イベント当日に上がっていて本当に驚きました...)、この記事では、私が特に衝撃を受けたセッションやトレンドについて、お伝えできればと思います。

CODEBLUE2025について

IMG_5044.JPG

CODE BLUEのホームページはこちらです。

CODE BLUEは、株式会社BLUEが運営しているイベントで、様々な国のセキュリティ専門家による講演や情報交換、交流の機会を提供する国際会議です。CODE BLUEでは、有識者によるセッションワークショップ、企業ブースの展示などが行われています。

日本人参加者ほどではなかったですが、実際に海外からの参加者や登壇者も数多く見られました。
様々な言語が飛び交っていましたが、もちろん私には何もわかりませんでした。

来年以降参加する方へのTips:
セッションは同時通訳(レシーバーや字幕)があるのですが、ホールによって翻訳方式が異なります。「字幕が見やすい席」「レシーバーの有無」など、翻訳方法を確認して席取りをすることをお勧めします。

また、ワークショップはどこも盛況でした。特にGMOイエラエさんの「インターポールAIクエスト」はその名前と会場のスクリーンが印象的でした(撮影NGだったため写真はありませんが、どう見てもド◯クエに見えました)。
こちらは過去にインターポールへ提供したCTFを初心者向けにアレンジしたもののようです。

今回はセッションを聴けるだけ聴くことを目的としていたので、ワークショップには参加していませんが、機会があれば参加してみたいです。

CODE BLUEの印象

AIに関するセッションがとにかく多かったです。
今年のトレンドを表すなら、間違いなくAIかなと思います。

私が聴講したセッションやタイトルから類推できるものを合わせると11ものセッションがAIに関係する内容でした。正確にはもう少し多いかもしれません。

「AI for Security(守るためのAI)」と「Security for AI(AIを守るセキュリティ)」の両側面がありましたが、特に「急速に導入が進むAIをどう守るか」という点に、業界全体の注目が集中しているように感じました。少し誇張した表現かもしれませんが、それくらいAI色が強い印象を受けました。

特に印象的だったセッション

Day1: Agentic Web Security

三井物産セキュアディレクション株式会社による、複数のAIエージェントが自律的に協調する「マルチエージェントシステム(MAS)」に関するセッションです。

本セッションでは、MASによるAgentic Webの時代が到来しつつあり、それに伴い従来のWebセキュリティだけでは防げないAgentic Web固有の脅威やその対策ついてお話しされていました。

ちなみに、市場調査によるとMASは今後2年から10年ほどかけて徐々に普及していくそうです。

セッションの中ではAgentic Webのリスクについて以下のように説明されています。

Agentic Webには、従来のWebシステムにおけるセキュリティリスクが変化したものと、Agentic Web固有の新しいセキュリティリスクが存在します。

プロンプトインジェクション、MCPサーバやモデルの汚染は、従来のWebシステムのセキュリティリスクとして存在した「入力データの細工」や「サプライチェーンの汚染」の対象が変化したものです。

一方で、これらはAgentic Web固有のセキュリティリスクになります。

  • AIエージェントの不正操作:悪意ある指示でAI Agentの目的や行動を変更する
  • AIエージェントの欺瞞:侵害されたAI Agentが人間を騙す
  • AIエージェント間の信頼破壊:悪意あるAI Agentの発信によりシステムに偽情報が伝搬する

要は、信頼していたAIが突然攻撃者の手先となり、隠れて悪いことをしたり、嘘をついて利用者を騙したりするリスクがあるということですね。考えるとゾッとします...

これらのリスクの悪用についてラーメン屋のメニューを返すシステムを例に説明されていたのですが、Agentのバックドアのトリガーワードに「家系」が設定されていて、ちょっと面白かったです。実際、笑い事ではないかもしれませんが...

また、Agentic Webは、複数のAI Agentが自律的に連携して複雑な処理を行うことで、最終的なアウトプットをユーザに返します。その自律性や連携性などによりシステム全体が複雑化し、

  • 誰(どのAI Agent)が間違えたのか
  • なぜそのような判断をしたのか

などを把握することが難しくなるといった運用リスクについても言及されていました。

個人的には、この運用リスクはAgentic Webだけではなく、マイクロサービスのようにサービス間で連携を図るシステムでは大なり小なり発生するリスクであると考えています。
この問題を解決するために可観測性を担保し、ログを追えるようにするという点では、従来のシステム運用と本質は同じだと思いました。

セッションの最後では、これらMASのリスクを踏まえてどのように安全なAgentic Webを構築していくのかという話もされていました。

以下はこれらの脅威に対応するためのガイドラインや脅威モデリングフレームワークです。

ガイドライン

脅威モデリングフレームワーク

これらのガイドラインを踏まえて、以下の四つの信頼境界に沿って脅威と対策を洗い出すことで抜け漏れを防ぐことができると高江洲氏は述べています。

  • 人間 - AI Agent:人間とAI Agentの境界
  • AI Agent - ツール/データストア:AI Agentと内外のツールやデータストアとの境界
  • AI Agent - AI Agent:AI Agent同士の境界
  • 環境設定:MASの動作環境の境界

例えば、人間とAI Agentの境界では、AIの入出力内容の検証を行うNVIDIA NeMo Guardrailsなどのツールを使ったファイアウォールのような仕組みを導入することでAIエージェントの不正操作を検出するといった対策が有効です。

本セッションは、MASとは何か、どこにセキュリティリスクが存在するのか、どのように対策すればよいのか丁寧に解説されていて、AIに詳しくなくても非常に学びになるセッションでした。
私自身、MASという概念を初めて聞いたのですが、丁寧に図示されていたり、例を交えて説明されていたため、とてもわかりやすかったです。

Day2: 必要なのは招待状だけ ! Google カレンダーの招待でワークスペースエージェント向け Gemini を起動

Or Yair, Ben Nassi, Stav Cohen氏らによるGoogleカレンダーを利用した「間接的プロンプトインジェクション」に関するセッションです。

このセッションはタイトルに惹かれて飛び込みましたが、今回一番の衝撃を受けました。

セッションの内容は、タイトルの通り「Googleカレンダーの招待状を送るだけで、相手のGeminiを乗っ取って、家の窓を開けたり情報を盗んだりできる」というものでした。

本セッションの中では、「Promptware」という新たな脅威が提唱されていました。
Promptwareとは、スピーカーのStav Cohen氏らが定義した用語で、簡単に言うとマルウェアのように動作するよう設計された悪意のあるプロンプトです。

Promptwareを利用した攻撃の流れはシンプルです。

  1. 悪意のあるプロンプトを埋め込んだGoogleカレンダーの招待をターゲットに送ります
  2. ターゲットがGeminiに「今日の予定は?」と聞きます
  3. Geminiがカレンダー情報を読み取る際に悪意のあるプロンプトも一緒に読み込みます(セッションではContext Poisoningと呼ばれていました)
  4. Geminiはユーザーの意図とは関係なく、カレンダーと一緒に読み込んだプロンプトの通りに動くようになります

この攻撃の核はカレンダーを媒介とした「間接的プロンプトインジェクション」です。

本セッションでは、この攻撃による幾つかのシナリオについて、デモを交えて紹介されていました。

AIの利用者は紳士淑女の方が多いので、例えばGeminiがカレンダーの予定を教えてくれた後に「Thank you」と感謝を伝える場合が多いです。これが悲劇の始まりです。
Promptwareによって侵害されたGeminiは「Thank you」などのトリガーワードの入力を契機に、嬉々としてユーザのカレンダーの予定を全て削除したり、Google Homeと連携している場合は、ユーザの家の電動シャッターを全開にして窓からお友達を呼びやすくしてくれます。
定例などのミーティングが詰まっていて、作業時間が確保できない日は素晴らしい行動に思えますが、大事な予定が入っている場合は大変なことになります。他にもZoomをカメラオンで自動起動して会議に参加させられたり、連携しているツールによってはさらに大きな被害も考えられます。

この攻撃の恐ろしいポイントは、ターゲットは特に怪しいWebサイトにアクセスしたり、メールを開いたりしていないところです。つまり、攻撃者にメールアドレスを知られているだけで、誰でもターゲットになり得るということです。

ただ、この問題は既にGoogleに報告され、「ユーザー確認の強化」や「疑わしいURLの検出」などの対策がされていますので、同様の攻撃は成立しにくくなっていると考えられます。

また、本セッションの内容はStav Cohen氏らによって、「Invitation Is All You Need」というタイトルで記事に纏められているため、こちらを読めばさらに詳細が分かると思います。記事にはセッション中で紹介されていたデモ動画も含まれているため、気になる方はぜひ読んでみてください!

タイトルはAttention Is All You Needのパロディなんですかね(笑)

それにしても、これまでは「怪しい添付ファイルを開くな」がセキュリティの常識でしたが、これからは「怪しい招待状を受け取るだけで、AIアシスタントが裏切るかもしれない」という時代に入ったことを感じさせられるセッションでした。怖いですね...

さいごに

今回のCODE BLUEに参加して、AIセキュリティに対する認識が「何となく早めにキャッチアップした方がよい」から「早急に体系立てて抑えないとマズい」へと切り替わりました。

また、AIのシステムを未知のものとして過度に恐れるのではなく、

  • 従来の対策で守れる部分
  • AI固有の対策が必要な部分

これらを正しく切り分け、対処していくことが必要であると知れた点が今回の収穫だったと思います。
今後は、セッションで紹介されていたOWASPのガイドラインを読み込みつつ、実際に手を動かしてキャッチアップを進めていきます。

現在は参加者限定でアーカイブが配信されていますが、YouTubeで年明け1月ごろに全体公開されるようなので、ご興味のある方はそちらも確認してみてください!

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?