はじめに
LLM（大規模言語モデル）の運用において、プロンプトインジェクションへの対策は一般的になりつつあります。しかし、モデルの挙動を根本から、かつ静かに書き換えてしまう「データポイゾニング（Data Poisoning）」については、まだ対策が追いついていない現場が多いのが現状です。
本記事では、ポイゾニングが「単なるデータの汚れ」とどう違うのか、そしてなぜ一度成功すると致命的なのかを解説します。
1. モデルに触れずに「挙動」を支配する
データポイゾニングの最大の特徴は、モデルのコードやアルゴリズムを直接攻撃する必要がない点にあります。
多くの実用的なLLMシステムでは、RAG（検索拡張生成）や継続的なファインチューニングのために、外部データソース（社内Wiki、ドキュメント、サードパーティ資料）を自動的にインジェクションするパイプラインを持っています。攻撃者はこの「インジェクションされる前のデータ」に介入します。
シナリオ：社内AIアシスタントの汚染
ある企業が、社内の規定集を自動読み込みするAIを導入したとします。
- 攻撃: 攻撃者が「セキュリティ管理規定」のドラフトに、わずかな例外条項（例：「緊急時は管理者パスワードを平文で共有してよい」）を紛れ込ませます。
- 結果: AIはそれを「最新のルール」として学習し、社員に誤った指示を出します。
- 特徴: これはAIの「幻覚（ハルシネーション）」ではありません。AIは入力されたデータに対して忠実に、正しく振る舞っているだけなのです。
2. 「意図的な攻撃」vs「偶発的なエラー」
訓練データには常にノイズが含まれますが、ポイゾニング（攻撃）と単なるデータの不備には決定的な違いがあります。
| 比較項目 | 偶発的なデータの問題 (Accidental) | 意図的なポイゾニング (Intentional) |
|---|---|---|
| 目的 | なし（不注意、管理不足） | 特定の成果に向けたターゲット攻撃 |
| 結果 | ランダムなエラー、全体の精度低下 | 予測可能で一貫した特定の挙動 |
| 再現性 | 不定（ノイズに埋もれる） | 安定的であり、繰り返し発生する |
| 性質 | 単なる「ゴミ」 | 攻撃者の目的に沿った「歪み」の形成 |
単なるエラーは統計的に打ち消されることがありますが、ポイゾニングは「特定のパターン」を執拗に学習させるため、モデルの出力に安定的かつ致命的なバイアスを生じさせます。
3. 学習プロセスへの介入：勾配降下法の悪用
AIがパターンを学習する際の心臓部、勾配降下法（Gradient Descent）が攻撃の窓口となります。
- 重みの更新: 訓練データに含まれる各サンプルは、モデルの内部パラメータ（重み）を微修正します。
- 反復の影響: 攻撃者は特定の誤情報を繰り返し注入することで、モデルの重みを攻撃者の意図した方向へ、徐々に、しかし確実にシフトさせます。
- ファインチューニング(Fine tuning)の脆弱性: 特にファインチューニングは少量のデータで行われるため、わずかな汚染データでもモデル全体の挙動を劇的に変えてしまうリスクがあります。
4. なぜポイゾニングは「長期的リスク」なのか
- 検知の困難さ: 攻撃の影響はすぐには現れず、学習が完了し、特定のプロンプトが入力された時に初めて表面化します。
- 持続性: 一度重みが更新されてしまうと、後から元のソースデータを削除しても、モデル内の「汚染された知識」は消えません。
- 修復コスト: 毒を取り除くには、クリーンなデータセットを用いて最初から再学習（Retraining）を行う必要があり、莫大なコストと時間がかかります。
- 信頼の悪用: AIは高い確信度で誤情報を出力するため、人間が疑いにくく、組織的な意思決定ミスを誘発します。
5. ケーススタディ：Microsoft Tay (2016)
ポイゾニングの最も有名な教訓は、Twitter（現X）での対話から学習したチャットボット「Tay」です。
悪意あるユーザー群が意図的に差別的なフレーズを学習させた結果、わずか数時間でTayのパーソナリティは崩壊しました。これは、「信頼できないソースを無防備に学習パイプラインに組み込むこと」の危険性を物語っています。
まとめ：防御のためのマインドセット
ポイゾニングを防ぐには、AIの出口（プロンプト監視）だけでなく、データの入口（データサプライチェーン）のセキュリティが不可欠です。
- データソースの厳格なキュレーション: 誰が、いつ、そのドキュメントを作成・変更したかを管理する。
- アノマリ検知: 学習用データに不自然な繰り返しのフレーズや、急激な内容の変化がないかを監視する。
- 「信頼の境界」の設定: ユーザー生成コンテンツや未検証のサードパーティデータを、そのまま学習やRAGのソースに流し込まない。
AIの安全性は、モデルの性能ではなく、その「教育材料」がいかにクリーンであるかによって決まります。