はじめに
「AIが間違った情報を覚えてしまったら、削除すればいいのでは？」
しかし実は、一度AIモデルが学習したデータを削除することは、とんでもなく難しい ということを知っていますか？
つまり、技術的に極めて困難 なのです。
ChatGPTのような大規模言語モデル(LLM)が時々誤った情報を自信満々に答えてしまう「ハルシネーション」という現象。その背景には、この「データ削除の困難さ」が深く関係しています。
削除ができないために誤りが残り続け、それが推論結果として現れてしまいます。
人とAIの違い
人間なら「それは間違いだから忘れて」と言えば修正できます。忘れなくても記憶の更新は意外と簡単！！
AIの場合はそう単純ではありません。学習したデータは数千億個ものパラメータ全体に分散して保存されるので、特定の情報だけをピンポイントで取り除くことができないのです。
今回は、なぜAIモデルからデータを削除できないのか、その技術的理由と現在の対処法、そして将来の可能性について整理してみました。
＜おすすめの関連記事＞
なぜデータ削除が難しいのか
学習の仕組み
AIモデルは膨大なデータから「パターン」を学習します。
人間の記憶に例えると
「今日学んだことを全部忘れてください」と言われても無理ですよね？ AIも同じです。
技術的な3つの理由
1. 分散表現
- 情報は数千億個のパラメータ全体に分散
- 特定のデータだけを「取り出す」ことが不可能
2. ネットワーク効果
- 知識は相互に関連
- 1つを削除すると他にも影響
3. 検証の困難さ
- 「本当に忘れたか？」を証明できない
- 明示的には答えられなくても、暗示的に影響が残る可能性
ハルシネーションとの関係
データ削除が困難なことは、ハルシネーション(AIが誤情報を生成する現象) の主要因の1つです。
ただし、ハルシネーションの原因は削除困難性だけではありません。
- 学習データの偏り・不足 : 特定トピックの情報が少ない
- 確率的生成 : 次単語予測の性質上、低確率の誤答を選ぶことがある
- 知識の欠落 : 訓練データにない情報を推測で補完してしまう
- 外部検証の欠如 : 生成した内容の正確性を確認する機能がない
現在の対処法
1. 事前フィルタリング (最も効果的)
学習前に誤ったデータを除去する。
def filter_training_data(data):
"""学習前にデータをクリーニング"""
filtered = []
for text in data:
# 誤情報チェック
if contains_misinformation(text):
continue
# 有害コンテンツチェック
if is_harmful(text):
continue
# 個人情報の削除
if contains_personal_info(text):
text = remove_personal_info(text)
filtered.append(text)
return filtered
【 OpenAIの例 】
- Common Crawl (数百TB) → フィルタリング → 数TB
- 90%以上を削除 して品質を確保
2. RLHF(人間のフィードバック学習)
学習後にモデルの振る舞いを修正。
【 利点 】
- モデルの出力を改善できる
【 欠点 】
- 元のデータは残っている（出力を抑制しているだけ）
3. RAG(Retrieval-Augmented Generation)
外部データベースから最新情報を取得。
【 利点 】
- データベースレベルで修正可能
- リアルタイムで情報更新
【 欠点 】
- 外部DBの品質に依存
- DBが誤情報を含めば、AIもそれを参照してしまう
- 検索結果の選択・統合に課題
【 例 】
ChatGPTのweb検索機能
4. プロンプトレベルの制御
システムプロンプトで出力を制限。
system_prompt = """
以下の情報は誤りです。絶対に答えないでください:
- 「地球は平ら」
- 「ワクチンは有害」
誤った情報を求められたら、正しい情報を提供してください。
"""
【 利点 】
即座に対応可能
【 欠点 】
根本的な解決ではない
未来の技術
Machine Unlearning(機械学習的忘却)
特定のデータの影響を逆算して削除する研究。2023年からGoogleなどが活発に研究しており、2024年には国際会議NeurIPSでコンペティションも開催されました。
def unlearn_data(model, data_to_forget):
"""特定データの影響を削除"""
# データがモデルに与えた影響を計算
influence = calculate_influence(model, data_to_forget)
# その影響を打ち消す方向に重みを調整
for param in model.parameters:
param -= learning_rate * influence
return model
現状（2025年）
- 学術研究が進展中
- 限定的な成功例あり（画像認識など）
- 大規模言語モデルへの適用は困難
課題
-
過剰な忘却 : 削除対象の知識だけでなく、関連する一般知識まで失われる
- 例: 「J.K.ローリングの住所」を削除すると「ハリーポッターの著者は？」にも答えられなくなる
- UnUnlearning : プロンプトで削除した情報が再導入され、あたかも知っているかのように振る舞う
- 副作用 : 1つのデータを削除すると、予期しない他の知識にも影響
- 計算コスト : メモリ使用量が2-3倍に増加
参考文献
- NeurIPS 2023 Machine Unlearning Challenge (Google)
- Forgetting Neural Networks (arXiv:2410.22374, 2024)
- On the Limitations and Prospects of Machine Unlearning for Generative AI (2023)
モジュラー型アーキテクチャ
モデルを専門分野ごとに分割。
【 利点 】
部分的な更新が容易
【 課題 】
モジュール間の連携が難しい
GDPRと「忘れられる権利」
ヨーロッパのGDPR(一般データ保護規則)では個人データの削除要求権がありますが、AIモデルからの完全削除は技術的に困難です。
現在の対応
- 訓練データから削除(次回学習時)
- プロンプトで出力制御
- 完全削除は困難と説明
法律と技術のギャップ
- 法律 : 削除義務あり
- 技術 : 完全削除は不可能
- → 今後の大きな課題
実現可能性のタイムライン
妄想してみる・・・
まとめ
現状
- 完全削除 → 技術的に極めて困難
- 影響の軽減 → 実用的に可能
- 最も重要 → 最初から正確なデータだけを使うこと
ベストプラクティス
とりあえず今は・・・
今後の展望
データ削除は 部分的には可能になる が、完全な解決は難しい と思います。AIを使う上で、この制限を理解し、適切に付き合っていくことが重要です。
参考文献
- Bourtoule, L. et al. (2021). Machine Unlearning. IEEE Symposium on Security and Privacy. arXiv:1912.03817
- OpenAI. (2023). GPT-4 Technical Report. arXiv:2303.08774
- Ji, Z. et al. (2023). Survey of Hallucination in Natural Language Generation. ACM Computing Surveys. arXiv:2301.05285
- European Union. (2024). Artificial Intelligence Act (AI Act). EUR-Lex
- European Commission. (2016). General Data Protection Regulation (GDPR). 公式テキスト