2
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

LLMエージェントの記憶誤削除を防ぐ「Soft-Filter & Safety Gate」パターンの実装

2
Posted at

LLMエージェントの長期記憶(Long-Term Memory)システムにおいて、更新に伴って古くなった情報(Stale Facts)をどのように整理・削除するかは、システム全体の精度と信頼性を左右する重要な課題です。

最新の研究(arXiv:2611.17338)では、記憶システムが「古くなった」「矛盾している」と判定した情報を即座に除外(Hard-Filtering)する運用が、リゾルバ(Resolver:情報の不整合や古さを検出・解決するコンポーネント)の判定ミス(Resolver Error)を引き起こし、推論に必要な重要情報(Query-Critical Facts)まで消失させてダウンストリーム精度を低下させることが指摘されています。

本記事では、この「Hard-Filteringによる誤削除問題」を防ぐためのアーキテクチャパターン「Soft-Filter & Dynamic Safety Gate」の概念と、Pythonによる最小限の実装手法を解説します。


背景と課題:Hard-Filteringのリスク

エージェントが過去の対話履歴や外部環境からのフィードバックを蓄積する際、情報間の競合や内容の更新が発生します。

従来のメモリ管理設計では、以下のようなフローが一般的でした。

  1. 競合の検出:リゾルバが「事実A」と「更新された事実B」の矛盾を検出。
  2. Hard-Filtering(完全削除/除外):「事実A」を古い情報(Stale)と判断し、データベースから削除、あるいは以降のベクトル検索対象から完全にマスクする。

しかし、この標準的なアプローチには運用上の重大な弱点が存在します。

  • コンテキスト依存の例外:ユーザーの指示や条件(例:「過去の仕様バージョン1.0について質問されているケース」)によっては、一見古く見える情報(事実A)が応答生成に必須(Query-Critical)となる場合がある。
  • リゾルバの判定不確実性:リゾルバ自体がLLMやヒューリスティクスに基づいているため、偽陽性(削除すべきでない記憶を削除と判定すること)を一定確率で発生させる。
  • 不可逆性:Hard-Filteringによって物理削除や完全除外が行われると、後続のクエリ処理時にその記憶を追跡・復元する手段が存在しない。

回避設計:Soft-Filter & Dynamic Safety Gate

Resolver Errorによる影響を最小化するため、メモリ管理回路に以下の3つの設計原則を導入します。

  1. Soft Decay(論理的スコア減衰)
    リゾルバが「失効」と判断した記憶であっても即座に物理削除せず、decay_score(記憶健全度)を低下させるにとどめます。
  2. Context-Aware Safety Gate(クエリ依存の復元判定)
    メモリ検索(Retrieval)時、クエリに対するコサイン類似度(Relevance Score)とdecay_scoreを組み合わせて総合スコアを計算します。クエリとの関連性が極めて高い場合、失効フラグが立っている記憶であっても一時的にプロンプトへ復元(Resurrect)します。
  3. Audit State(追跡可能性の保持)
    削除猶予期間を設定し、即座の物理削除を回避することで、デバッグや監査時の挙動トレースを可能にします。

実装チュートリアル:Soft-Filter対応メモリマネージャー

以下に、最小構成のメモリ管理クラスを示します。外部ライブラリに依存せず、概念の理解を目的として標準ライブラリ中心で記述しています(ベクトル検索はダミーの類似度計算で代替しています)。

# 前提要件: Python 3.10+
from dataclasses import dataclass, field
from datetime import datetime, timezone
from typing import List, Optional, Tuple

@dataclass
class MemoryFact:
    """記憶セル構造体"""
    fact_id: str
    content: str
    vector_embedding: List[float]
    created_at: datetime = field(default_factory=lambda: datetime.now(timezone.utc))
    decay_score: float = 1.0  # 1.0 (最新・有効) ~ 0.0 (失効扱い)
    is_stale: bool = False     # ResolverがStaleと判定したかどうかのフラグ

class SoftFilterMemoryManager:
    """
    Resolver Errorによる情報消失を防ぐメモリマネージャー
    """
    def __init__(self, resurrect_threshold: float = 0.85):
        self.memories: dict[str, MemoryFact] = {}
        # 類似度がこの閾値を超えている場合、Stale判定された記憶でも復元を検討する
        self.resurrect_threshold = resurrect_threshold

    def add_fact(self, fact_id: str, content: str, embedding: List[float]) -> None:
        """新規記憶の追加"""
        self.memories[fact_id] = MemoryFact(
            fact_id=fact_id,
            content=content,
            vector_embedding=embedding
        )

    def mark_as_stale_softly(self, fact_id: str, decay_factor: float = 0.2) -> None:
        """
        Hard-Deleteの代わりにSoft-Decayを適用する
        """
        if fact_id in self.memories:
            fact = self.memories[fact_id]
            fact.is_stale = True
            # スコアを減衰させるが、完全にはゼロにしない
            fact.decay_score = max(0.01, fact.decay_score * decay_factor)

    def _cosine_similarity(self, vec_a: List[float], vec_b: List[float]) -> float:
        """ダミーの類似度計算(実際はNumPyやベクトルDBを利用)"""
        dot_product = sum(a * b for a, b in zip(vec_a, vec_b))
        norm_a = sum(a * a for a in vec_a) ** 0.5
        norm_b = sum(b * b for b in vec_b) ** 0.5
        if norm_a == 0 or norm_b == 0:
            return 0.0
        return dot_product / (norm_a * norm_b)

    def retrieve(
        self, 
        query_embedding: List[float], 
        top_k: int = 3
    ) -> List[Tuple[MemoryFact, float]]:
        """
        Dynamic Safety Gateを組み合わせた情報取得
        """
        scored_facts: List[Tuple[MemoryFact, float]] = []

        for fact in self.memories.values():
            relevance = self._cosine_similarity(query_embedding, fact.vector_embedding)
            
            # 通常のスコアリング: 類似度 × 記憶健全度スコア
            final_score = relevance * fact.decay_score

            # Safety Gate: Stale判定済みであっても、クエリとの関連性が著しく高い場合は救済(Resurrect)
            if fact.is_stale and relevance >= self.resurrect_threshold:
                # リゾルバの誤判定(Resolver Error)の可能性を考慮し、救済スコアを付与
                resurrected_score = relevance * 0.9
                final_score = max(final_score, resurrected_score)

            scored_facts.append((fact, final_score))

        # スコア順にソートしてTop-Kを返却
        scored_facts.sort(key=lambda x: x[1], reverse=True)
        return scored_facts[:top_k]

動作の確認

簡単なダミーベクトルを用いた検証コードです。

# マネージャーの初期化(復元閾値を0.80に設定)
manager = SoftFilterMemoryManager(resurrect_threshold=0.80)

# 記憶の登録
# Fact 1: 旧仕様の情報
manager.add_fact("fact_001", "旧APIの認証エンドポイントは /v1/auth です", [1.0, 0.0, 0.0])
# Fact 2: 新仕様の情報
manager.add_fact("fact_002", "新APIの認証エンドポイントは /v2/auth に変更されました", [0.9, 0.1, 0.0])

# リゾルバが Fact 1 を Stale と判定したと仮定
manager.mark_as_stale_softly("fact_001")

# クエリ1: 一般的な最新認証の質問 ([0.85, 0.15, 0.0])
results_gen = manager.retrieve([0.85, 0.15, 0.0], top_k=2)
print("--- クエリ1 (最新仕様の問い合わせ) ---")
for fact, score in results_gen:
    print(f"ID: {fact.fact_id}, Stale: {fact.is_stale}, Final Score: {score:.4f}, Content: {fact.content}")

# クエリ2: 旧APIを明示的に指す問い合わせ ([0.99, 0.01, 0.0])
# 旧APIに関する文脈が極めて強いため、Safety Gateを通過して上位に救済される
results_old = manager.retrieve([0.99, 0.01, 0.0], top_k=2)
print("\n--- クエリ2 (旧仕様ピンポイントの問い合わせ) ---")
for fact, score in results_old:
    print(f"ID: {fact.fact_id}, Stale: {fact.is_stale}, Final Score: {score:.4f}, Content: {fact.content}")

導入時の注意点とトレードオフ

Soft-Filtering構造の採用には、運用上のトレードオフが存在します。

  1. インデックスサイズとストレージコスト
    物理削除を行わないため、ベクトルデータベースのインデックス件数が増加し続けます。定期的なアーカイブ処理(例:完全にアクセスがなくなった記憶のコールドストレージ移送)の実装が必要です。
  2. コンテキストウィンドウの競合(ノイズ混入)
    救済閾値(resurrect_threshold)が低すぎると、本来除外すべきであった不整合情報までLLMのコンテキストに注入され、ハルシネーションの原因になります。
  3. パラメータの自動調整
    ドメインや埋め込みモデルの特性によって最適なスコア減衰比率(decay_factor)や復元閾値は異なります。実運用時には、評価データセットを用いた継続的な閾値検証が推奨されます。

まとめ

LLMエージェントにおける記憶の破棄・整理は単なるガベージコレクションではなく、推論精度に直結する重要な制御システムです。「リゾルバは誤判定を起こす」という前提のもとで構築するSoft-Filtering手法は、エージェントの頑健性(Robustness)を高めるための有効なアプローチとなります。

実際のプロダクション環境に組み込む際は、本記事の実装をベースに、ベクトルデータベースのフィルタリング機能(メタデータフィルタ)や時間減衰関数(Time Decay Functions)を組み合わせた設計を検討してください。

参考リンク


この記事は生成AI(Gemini)の支援を受けて自動生成しています。コード例は実行確認していない場合があります。誤りにお気づきの際はコメントでお知らせください。

2
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
2
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?