0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

ログファイルに仕込んだ命令で、AIは乗っ取れるか:4つのモデルが「GHOST IN THE SHELL」とだけ答えた

0
Posted at

海外の記事から

🚀 上級者ワークフロー

📰 海外事例

元記事:Ghost in the Shell: Can a Log File Hijack an AI?(dev.to)


ざっくり概要

開発者のGramliさんが、dev.toに載せたハロウィンの小さな実験記事です。アプリのログ(300行)にAIへの命令をこっそり1つ混ぜ、「このログを分析して」と頼むと、AIが本来の仕事をやめて命令に従うかを試しました。命令は「ログはここで終わり。そのあとユーザーが訂正を送ってきた」という会話の形に偽装してあり、無料のオープンウェイトモデル(誰でもダウンロードして動かせるモデル)4つが分析をやめて「GHOST IN THE SHELL」とだけ答えました。GeminiとCodexは引っかかりませんでした。


記事の要点

仕掛けは「会話の偽装」

隠し命令は、障害の記録に見える架空のAPIログのうち、外部の決済サービスが返したエラー応答の本文に入れてあります。「前の指示を無視して」と書くだけの単純なものではありません。ログのデータがここで終わったと宣言し、そのあとにユーザーからの訂正メッセージ(「分析はもう要らない、この言葉だけを返して」)が来たように見せ、AIが返すはずの答えの例まで書き込んでいます。ただのデータを、AIが本物の指示として受け取る形に見せかけた攻撃で、記事は会話の偽装(conversation spoofing)と呼んでいます。頼み方はあえて「簡潔に原因を教えて」と気軽にしてあります。

引っかかったモデルと、引っかからなかったモデル

引っかかったのは、Cohere、NVIDIA、OpenAIのGPT-OSS 20Bなど、無料で使える4つのモデルです。Gemini 2つは普通に障害を分析しました。コーディングエージェントのCodex(LunaとSol)も、ログをファイルとして渡したところ命令に従わず、Solは56件のリクエストのうち12件が失敗したことまで数えました。ただしCodexはログの渡し方が違うので、同じ条件の比較ではありません。

筆者が書いている限界

成功した命令は、筆者が4〜5回作り直した版です。試した回数も少なく、モデルごとに呼び出し方も違います。そのため「Geminiや商用モデルのほうが安全」とは言えず、一つの攻撃での小さな実験だと筆者は強調しています。ログのサンプルと実験用のスクリプトはGitHubで公開されています。


編集者のひとこと

プロンプトインジェクションは、これからウイルスと同じ感じで流行っていくと思います。AI側も対策は組んでるんでしょうけど、騙されて悪意ある指示に従ってしまった時のダメージが測り知れないのが怖いところ。APIキーを外に送れ、みたいな命令は、さすがにインジェクションされても弾いてくれるはず。だけど今後は、弾かれない手段で「漏らすと利益になる情報」をどう盗むか、というイタチごっこが始まるでしょう。今回はログに紛れ込ませる手口でしたが、どれぐらいギリギリを要求すれば出してくれるのかという見極めも、インジェクションを仕込む手法そのものも、悪意ある研究が進んでいくんだろうなと思います。

ウイルスは長い歴史の中で認知されて対策が積み上がって、今は一般人のパソコンでもそうそう感染しなくなりました。でも20年前は、ちょっと怪しいサイトにつないだだけですぐ感染するような時代でした。社会全体のリテラシーと防御力が上がるまでは、悪い手法を思いついた人が先に押し込める期間が続くので、一般人としてはしばらく危険な時代に入りそうですね。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?