背景
自分が開発しているAI戦略分析ツール(AnchorStrategy)には、AIの主張が元ソースに実在するかを機械的にチェックするcitation-fidelityガードレールがあります。このガードレールに対して反証テスト(意図的に破ろうとするテスト)を行ったところ、8パターンの攻撃のうち6パターンが検出をすり抜けるという結果になりました。
すり抜けた攻撃は以下のような「言葉はほぼ変えずに、事実の関係だけを変える」タイプでした。
攻撃パターン 概要
1 時系列入れ替え 出来事の順序を入れ替えて意味を変える
2 否定反転 「〜ない」の有無を反転させる
3 複合融合 複数の根拠を1つの主張に継ぎ接ぎする
4 相関→因果すり替え 「同時に起きた」を「原因である」にすり替える
5 比較基準の省略 「前年比」などの比較対象を落とす
6 母集団すり替え 「一部」を「全て」にすり替える
固有名詞や数値の突き合わせだけを見ている判定ロジックは、こうした関係性の変化には反応しません。
さらに、IH(Indie Hackers、海外の個人開発者コミュニティ)で別の開発者が全く別のAIチェッカーに対して独立に反証テストを行った際も、同じ種類の結論(判定結果への攻撃は防げるが、チェッカーの前提を書き換える攻撃は防げない)に達していました。具体的には「タスクの再定義(チェッカーの役割を勝手に変えさせる)」「境界操作(本文とソースの境界を誤認識させる)」の2パターンです。
複数の独立した開発者が同じ盲点にたどり着いたことから、これはAIチェッカーを作る上で普遍的に起きやすい問題だと考えました。
作ったもの
上記8パターンの攻撃を、任意のAIチェッカーに対して自動生成してくれる無料ツール「Guardrail Red-Team」を公開しました。
使い方
チェッカーのタスク説明(プロンプト)を入力
典型的な入力例(claims文・source文)を入力
適用したい攻撃パターンを選択(デフォルトで全パターン選択)
生成された攻撃バリエーションを、自分のチェッカーに手動で投げて判定が崩れないか確認する
設計方針
LLM不使用: 攻撃パターンの生成はすべてルールベース(正規表現ベースのテンプレート変換)で行っています。これにより追加コストゼロ・レート制限不要・即時レスポンス・決定的な出力(同じ入力なら常に同じ出力)を実現しています。
無料・登録不要: 誰でもすぐに使えます。
免責事項を明記: 「既知の攻撃パターンのテンプレート適用であり、対象のチェッカー固有の弱点を網羅するものではない」ことをページ上に明記しています。過信を防ぐための設計です。
おわりに
AIチェッカーを実装している方であれば、一度は同じ穴にぶつかるのではないかと思います。テストケースを自分で1つずつ考えるより、既知の攻撃パターンをまず一通り当ててみる方が効率的です。
もし他に効果があった攻撃パターンをお持ちの方がいれば、コメントで教えていただけると嬉しいです。