0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AIチェッカーの反証テストを自動化する無料ツール「Guardrail Red-Team」を作った

0
Posted at

背景

自分が開発しているAI戦略分析ツール(AnchorStrategy)には、AIの主張が元ソースに実在するかを機械的にチェックするcitation-fidelityガードレールがあります。このガードレールに対して反証テスト(意図的に破ろうとするテスト)を行ったところ、8パターンの攻撃のうち6パターンが検出をすり抜けるという結果になりました。

すり抜けた攻撃は以下のような「言葉はほぼ変えずに、事実の関係だけを変える」タイプでした。

攻撃パターン 概要

1 時系列入れ替え 出来事の順序を入れ替えて意味を変える
2 否定反転 「〜ない」の有無を反転させる
3 複合融合 複数の根拠を1つの主張に継ぎ接ぎする
4 相関→因果すり替え 「同時に起きた」を「原因である」にすり替える
5 比較基準の省略 「前年比」などの比較対象を落とす
6 母集団すり替え 「一部」を「全て」にすり替える

固有名詞や数値の突き合わせだけを見ている判定ロジックは、こうした関係性の変化には反応しません。

さらに、IH(Indie Hackers、海外の個人開発者コミュニティ)で別の開発者が全く別のAIチェッカーに対して独立に反証テストを行った際も、同じ種類の結論(判定結果への攻撃は防げるが、チェッカーの前提を書き換える攻撃は防げない)に達していました。具体的には「タスクの再定義(チェッカーの役割を勝手に変えさせる)」「境界操作(本文とソースの境界を誤認識させる)」の2パターンです。

複数の独立した開発者が同じ盲点にたどり着いたことから、これはAIチェッカーを作る上で普遍的に起きやすい問題だと考えました。

作ったもの

上記8パターンの攻撃を、任意のAIチェッカーに対して自動生成してくれる無料ツール「Guardrail Red-Team」を公開しました。

使い方
チェッカーのタスク説明(プロンプト)を入力
典型的な入力例(claims文・source文)を入力
適用したい攻撃パターンを選択(デフォルトで全パターン選択)
生成された攻撃バリエーションを、自分のチェッカーに手動で投げて判定が崩れないか確認する
設計方針
LLM不使用: 攻撃パターンの生成はすべてルールベース(正規表現ベースのテンプレート変換)で行っています。これにより追加コストゼロ・レート制限不要・即時レスポンス・決定的な出力(同じ入力なら常に同じ出力)を実現しています。
無料・登録不要: 誰でもすぐに使えます。
免責事項を明記: 「既知の攻撃パターンのテンプレート適用であり、対象のチェッカー固有の弱点を網羅するものではない」ことをページ上に明記しています。過信を防ぐための設計です。
おわりに

AIチェッカーを実装している方であれば、一度は同じ穴にぶつかるのではないかと思います。テストケースを自分で1つずつ考えるより、既知の攻撃パターンをまず一通り当ててみる方が効率的です。

もし他に効果があった攻撃パターンをお持ちの方がいれば、コメントで教えていただけると嬉しいです。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?