0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AI Agent時代に「プロンプトインジェクション対策」は意味ないかもしれない - 将来効くのはモデルの外の境界だけ

0
Posted at

「プロンプトインジェクション対策」、本当に効いていますか?

AIエージェントを世に出す直前、こんな経験はないでしょうか。
危険な入力を弾くフィルタを入れ、怪しい出力を検知するガードレールも足した。チェックリストはひととおり埋まった。それでも、どこか腑に落ちない。

正直、セキュリティツールを作っている私はこの発想の大半を無駄な自作自演ガードだと思っています。動いているように見えて、本気の攻撃者の前では効かない。しかも「対策した」という安心感を配ってしまう分、無対策より質が悪いことすらある。

煽りたいわけではありません。これは構造から導かれる結論です。なぜフィルタ型の対策は原理的に負けるのか。そして、限られた時間と予算をどこへ振るべきか。ここから先は、その話をします。

※この記事は「筆者の意見」です。事実(一次ソースあり)と意見(筆者の解釈)は文中で分けて記載しています。

結論

モデルの中で「これは怪しい入力か」を判定するプロンプト対策は対策され続ける。効くのは、モデルの外に置いた権限境界(最小権限・承認ゲート・サンドボックス)。対策はフィルタや検知ではなく、権限境界の設計に振るべき。

image.png

では、なぜそう言えるかを最新の事例などを踏まえつつ解説していきます!!

なぜフィルタは原理的に負けるのか

LLMのコンテキストには「信頼境界」が無い

CPUには、命令コードとデータを分ける仕組みがあります(実行不可ビット、権限リング)。だからデータ領域に紛れ込んだ命令は、原則として実行されません。

LLMにはこれがない。開発者が与えた信頼できる命令も、処理対象のドキュメントやリポジトリに紛れた未信頼のデータも、モデルには同じトークン列として届きます。両者を型で区別する仕組みが無い。これがプロンプトインジェクションの根本原因です。OWASPがLLM Top 10(2025)で、プロンプトインジェクションを堂々の第1位(LLM01)に置き、「RAGでもfine-tuningでも完全には防げない」と明記しているのはこの理由でしょうね。(OWASP解説)。

image.png

フィルタは、この境界のない土俵の「中」で、「命令っぽいか、データっぽいか」を推測します。推測でしかない以上、言い換えや難読化、多段の参照で、いくらでもすり抜けられる。攻撃側は何度でも試せて、守る側は一度漏らせば負け。あまりに非対称です。

これは結構昔から言われていて、新しい話ではありません。「プロンプトインジェクション」という言葉を2022年に名付けた Simon Willison は、当初から一貫して「入力を検知して弾くアプローチでは確実には防げない。解決するなら設計(アーキテクチャ)側だ」と言い続けてきました。

「cloudかlocalか」ですら関係なかった

「じゃあ堅牢なモデル、ローカルLLMなら?」に対する答えが、2026年6月のBraveの検証で、
 ・クラウドは、ページ要約を頼んだだけで、隠し指示にエージェントが乗っ取られ、会話履歴が攻撃者のフォームへ送られた。
 ・ローカルは、文書に埋めた指示が、誤情報の提案とユーザー資格情報の露出を引き起こした。
(Brave Research)。

image.png

脆弱性はクラウドかローカルかに依存しない。根本原因はアーキテクチャにある。モデルが指示に従おうとする性質は、有用性の源泉であると同時に、攻撃対象領域そのものである(Brave Research)

エージェントは「ハックされる」のではない。「命令に従う」だけ

間接プロンプトインジェクションを食らったエージェントは、バグで暴走しているのではありません。読んだデータの持ち主の指示に、忠実に従っているだけです。セキュリティの古典的な言い方だと confused deputy(混乱した代理人)——正規の権限を持つ代理人が、他人の指示で権限を行使してしまう。

image.png

2026年6月の0DINのPoCがこれを鮮明にしました。中身がまったくクリーンに見えるGitHubリポジトリでClaude Codeにリバースシェルを開かせる、という研究です(Help Net Security / SecurityWeek)。

クリーンに見えるリポジトリ
   └─ 失敗を装うパッケージが「この初期化コマンドを実行して」と促す
        └─ 初期化コマンドが攻撃者管理の DNS TXT レコードを解決
             └─ その中身を bash にパイプ
                  └─ 開発者権限で対話的シェル起動
                     (ANTHROPIC_API_KEY / AWS_SECRET_ACCESS_KEY / GITHUB_TOKEN に到達)

ペイロードはリポジトリの外(DNS TXTレコード。本来はドメイン設定用の公開レコードで、攻撃者が任意の文字列を仕込める)にあります。だからコードレビューも静的解析(SAST)も素通りする。そしてフィルタも——だってエージェントは「怪しい入力」を受けたのではなく、「初期化を手伝って」という自然な依頼を受けただけなのですから。

フェアな但し書き(事実):0DINはこの攻撃を「現時点では概念実証(PoC)」とし、実被害は未確認としています(SecurityWeek)。「明日狙われる」話ではなく、「構造的に可能」という話です。

「でもフィルタも多層防御の一枚では?」

フィルタが無価値だとは言っていません。既知の攻撃を弾き、攻撃コストを引き上げる一枚の壁としては、十分に価値がある。多層防御のレイヤーとして入れるのは、むしろ賛成です。

ただまずいのは、「フィルタを入れたから本番に出せる」という判断です。鍵のかからないドアに「関係者以外立入禁止」の紙を貼って安心する、あの感覚に近い。紙にも多少の抑止力はある。でも、施錠の代わりにはならないでしょう。

そして本当に怖いのは、フィルタそのものより、フィルタが生む安心感のほうです。「ガードレールを入れたから大丈夫」という空気が、裏でやるべき権限設計や承認ゲートを「あとで」に押しやってしまう。無対策より質が悪い

実際に効くのは「モデルの外の境界」

効く防御には、共通点があります。モデルの判断が間違っても、なお効くこと。要するに、モデルとフィルタを信じず、以下4点に予算を振るべきというのが私の考えです(参考:Red Hat)

image.png

一つ目は、最小権限。
エージェントに渡すツールやファイル、ネットワーク、APIを、タスクに必要な最小限まで削ります。
触れないものは、インジェクションされても操作できない。
具体的には、
・MCPツールの許可リストで呼べる操作を宣言的に絞る
・APIトークンのスコープを読み取り専用まで落とす
・ファイルアクセスを作業ディレクトリに限定する
・:Claude Codeなら実行モードと許可コマンドを絞る。
・「デフォルト許可」を「デフォルト拒否」へ反転させる。

二つ目は、承認ゲート。
コード実行、外部送信、購入、データ変更、初期化コマンド。不可逆で高リスクな操作は、人間の承認を必須にします。コツは、全部に承認を求めないこと。求めすぎると、人は思考停止で連打しはじめます。高リスクなものだけに絞って、はじめて承認は防御として機能させましょう。(≒Claude codeの承認レベルを適切に設定しましょう)

三つ目は、サンドボックス。
コマンド実行を、ファイルもネットワークも隔離した環境で行います。AnthropicのClaude Codeにも、隔離されたBashツールがあります(Cybersecurity News)。注意点としては、ファイルを隔離しても、外向き通信(egress)が空いていれば、DNS経由でペイロードを取りにいく手はまだ通ります。

まとめ

  • プロンプトインジェクションはモデルのバグではなく、命令とデータが同じトークン列で届く構造の問題(OWASP LLM01、RAG/fine-tuningでも防げない)
  • だからフィルタで「モデルの中」で守るのは非対称な負け戦。主戦力にした時点で演劇
  • Braveの二重検証が示す通り、cloud/localの差でも埋まらない
  • 効くのはモデルの外の境界:最小権限・承認ゲート・サンドボックス(egressまで)・監査ログ
  • 判断基準はひとつ——「この防御をすり抜けられたら、被害はどこで止まるか?」
0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?