0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@fd_ai_teacher

LLM自律エージェントの誤動作！Agentic RAGのツール連携失敗と評価基準

0
Posted at

LLM自律エージェントのAgentic RAGを実装していて、**「なぜかツールが呼ばれない」「意図しない引数が渡されてエラーになる」「同じツールを呼び続けて無限ループに陥る」**といった問題に直面していませんか？

これらの問題は、LLMエージェント、特にAgentic RAGにおけるツール連携の「ハマりどころ」です。この記事では、LangChain 1.0とLangGraphを使ったAgentic RAGの実装において、LLMエージェントがツールを適切に利用できない具体的な失敗パターンとそのデバッグ手法、そしてエージェントの動作を評価・改善するための実践的な基準を解説します。読み終える頃には、あなたのLLMエージェントがより堅牢に、そして期待通りに動作するための具体的な知見と、その品質を高める評価の仕組みを理解しているはずです。

LLMエージェントとAgentic RAGの基本

このセクションでは、LLMエージェントとAgentic RAGの基本的な概念、およびその構成要素について解説します。

LLMエージェントは、大規模言語モデル（LLM）を「頭脳」として、外部ツール（API、データベース、計算機など）を「手足」として利用し、複雑なタスクを自律的に実行するシステムです。従来のLLMが単一のプロンプト応答に特化していたのに対し、エージェントはプランニング、ツールの利用、観測、そして自己修正という反復的なプロセスを通じて、より高度な問題解決能力を発揮します。

Agentic RAG（Retrieval Augmented Generation）は、このLLMエージェントの概念をRAG（検索拡張生成）に適用したものです。単に一度の検索で情報を取得するだけでなく、エージェントが自身の思考プロセスに基づいて複数回にわたって情報を検索・取得し、その結果を基に推論を深めていくことで、より正確で包括的な回答を生成することを目指します。

Agentic RAGを構成する主要な要素は以下の4つです。

  1. LLM（モデル）: エージェントの「脳」として、プランニング、推論、意思決定を行います。
  2. プランニングループ: 現在の状態を評価し、次に取るべきアクション（ツール呼び出しや最終回答の生成）を決定するプロセスです。
  3. メモリ: エージェントが過去の対話履歴やツール実行結果を記憶し、長期的なコンテキストを維持するために使用します。
  4. ツール: エージェントが外部世界と相互作用するためのインターフェース（Web検索、データベースクエリ、計算機など）です。

これらの要素が連携することで、LLMエージェントは自律的にタスクを遂行し、Agentic RAGでは特に情報検索と推論の精度が向上します。

LangChain 1.0とLangGraphによるLLMエージェントの実装

このセクションでは、LangChain 1.0とLangGraphを使ったLLMエージェントおよびAgentic RAGの具体的な実装方法を、動くコード例と共に紹介します。

LangChainでのシンプルなReActエージェントとツールの作成

LangChain 1.0では、create_react_agent関数がReAct（Reasoning and Acting）エージェント構築の標準的な方法です。ReActは、LLMが「思考（Thought）」と「行動（Action）」を交互に繰り返すことで、タスクを解決していく推論フレームワークです。

以下は、現在の時刻を返すシンプルなツールを持つエージェントの例です。

from dotenv import load_dotenv
from langchain import hub
from langchain.agents import AgentExecutor, create_react_agent
from langchain_core.tools import Tool
from langchain_openai import ChatOpenAI
import datetime
import os

load_dotenv()

# OpenAI APIキーが環境変数に設定されていることを確認
if not os.getenv("OPENAI_API_KEY"):
    raise ValueError("OPENAI_API_KEY environment variable not set.")

# Define a very simple tool function that returns the current time
def get_current_time(*args, **kwargs):
    """Returns the current time in H:MM AM/PM format."""
    return datetime.datetime.now().strftime("%I:%M %p")

# List of tools available to the agent
tools = [
    Tool(
        name="get_current_time",
        func=get_current_time,
        description="Useful for getting the current time.",
    )
]

# Pull the prompt template from the hub (ReAct = Reason and Action)
# 'hwchase17/react' はLangChain Hubで提供されるReActプロンプトのIDです。
# このプロンプトがエージェントに「思考し、ツールを呼び出し、結果を観察する」よう指示します。
prompt = hub.pull("hwchase17/react")

# Initialize a ChatOpenAI model
# モデルは適宜変更してください (例: "gpt-3.5-turbo", "gpt-4")
llm = ChatOpenAI(model="gpt-4o", temperature=0)

# Create the ReAct agent
# create_react_agentはLLM、ツールリスト、プロンプトを受け取ってエージェントを構築します。
agent = create_react_agent(llm, tools, prompt)

# Create an agent executor
# AgentExecutorはエージェントの実行を管理し、ツールを呼び出します。
# verbose=Trueで思考プロセスを詳細に出力し、handle_parsing_errors=TrueでLLMのJSONパースエラーを処理します。
agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True, handle_parsing_errors=True)

# Run the agent with a test query
print("--- Running AgentExecutor ---")
response = agent_executor.invoke({"input": "What time is it?"})

print("\n--- Agent Output ---")
print(response["output"])

# 別のクエリでツールを使わないケースも試す
print("\n--- Running AgentExecutor with non-tool query ---")
response_no_tool = agent_executor.invoke({"input": "Hello, how are you?"})
print("\n--- Agent Output (no tool) ---")
print(response_no_tool["output"])

このコードを実行すると、verbose=Trueによってエージェントの思考プロセスが詳細に表示され、get_current_timeツールが呼び出される様子を確認できます。

Agentic RAGにおけるリトリーバーツールの作成例

Agentic RAGでは、エージェントが知識ベースから情報を取得するためのカスタムツールを作成します。以下は、FAISSベクトルストアとHuggingFaceEmbeddingsを使用したリトリーバーツールの例です。

# 必要な依存関係のインストール (初回のみ)
# pip install smolagents pandas langchain langchain-community sentence-transformers datasets python-dotenv rank_bm25 faiss-cpu --upgrade

from langchain.tools import tool
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter
from datasets import load_dataset
import os

# 知識ベースの準備 (Hugging Faceドキュメントのデータセットを使用)
# 実際には、独自のドキュメントやデータベースからデータをロードします
print("--- Preparing Knowledge Base ---")
dataset = load_dataset("HuggingFaceH4/instruction-dataset", split="train")
# データセットの一部を抜粋して使用
documents = [doc["prompt"] for doc in dataset.select(range(1000)) if doc["prompt"]]

# ドキュメントのチャンク化
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
texts = text_splitter.create_documents(documents)

# エンベディングモデルの初期化
print("--- Initializing Embeddings ---")
# ローカルで実行可能なエンベディングモデルを使用
embeddings = HuggingFaceEmbeddings(model_name="all-MiniLM-L6-v2")

# ベクトルストアの構築
print("--- Building Vector Store (FAISS) ---")
vectorstore = FAISS.from_documents(texts, embeddings)
retriever = vectorstore.as_retriever()

# @toolデコレータを使用して、LangChainエージェントが利用できるツールとして定義
@tool
def retrieve_documents(query: str) -> str:
    """
    Retrieves relevant documents from the knowledge base based on the query.
    Use this tool to find information about specific topics from the provided knowledge base.
    """
    print(f"--- Calling retrieve_documents tool with query: '{query}' ---")
    docs = retriever.invoke(query)
    if not docs:
        return "No relevant documents found."
    # 取得したドキュメントの内容を整形して返す
    return "\n".join([f"Document Content: {doc.page_content}\nSource: {doc.metadata.get('source', 'N/A')}" for doc in docs])

print("\n--- Retriever Tool Ready ---")
print("You can now integrate 'retrieve_documents' into your LangChain agent.")

# このツールを先ほどのエージェントに追加して実行する例
# tools.append(retrieve_documents) # 既存のtoolsリストにretrieverを追加
# agent = create_react_agent(llm, tools, prompt)
# agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True, handle_parsing_errors=True)
# print("\n--- Running AgentExecutor with Retriever Tool ---")
# # Hugging Face H4 instruction datasetに関する情報を検索するクエリ
# response = agent_executor.invoke({"input": "What is Hugging Face H4 instruction dataset?"})
# print("\n--- Agent Output with Retriever ---")
# print(response["output"])

このretrieve_documentsツールをエージェントのtoolsリストに追加することで、エージェントは必要に応じて知識ベースから情報を検索し、回答生成に活用できるようになります。

LangGraphでのエージェントワークフローの構築例

LangGraphは、LangChainエージェントの低レベルなオーケストレーションフレームワークであり、より複雑なエージェントワークフローの構築に利用されます。状態管理、耐久性のある実行、Human-in-the-Loopなどの機能を提供します。

# 必要な依存関係のインストール (初回のみ)
# pip install langgraph langchain_openai --upgrade

from dotenv import load_dotenv
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
from langgraph.prebuilt import create_react_agent_with_tools
import os

load_dotenv()

if not os.getenv("OPENAI_API_KEY"):
    raise ValueError("OPENAI_API_KEY environment variable not set.")

# ツール定義
# @toolデコレータは、関数をLangChainエージェントが利用できるツールとして登録します。
@tool
def get_weather(city: str) -> str:
    """Fetches the current weather for a given city."""
    if city.lower() == "tokyo":
        return "Tokyo: Sunny, 25°C"
    elif city.lower() == "london":
        return "London: Cloudy, 18°C"
    else:
        return f"Weather data for {city} not available."

@tool
def get_stock_price(ticker: str) -> str:
    """Fetches the current stock price for a given ticker symbol."""
    if ticker.upper() == "AAPL":
        return "AAPL: $170.50"
    elif ticker.upper() == "GOOG":
        return "GOOG: $150.20"
    else:
        return f"Stock price for {ticker} not available."

tools = [get_weather, get_stock_price]

# LLMの初期化
llm = ChatOpenAI(model="gpt-4o", temperature=0)

# LangGraphのprebuilt関数でエージェントグラフを作成
# create_react_agent_with_tools はLangGraph 0.0.x で利用可能な高レベルAPIです。
# LangChain 1.0の create_react_agent とは異なるインターフェースを持つ点に注意してください。
# これは、LangGraphがより低レベルなグラフ構築を可能にするためのものです。
app = create_react_agent_with_tools(llm, tools)

# エージェントの実行
print("--- Running LangGraph Agent ---")
inputs = {"messages": [("user", "What is the weather in Tokyo and the stock price of AAPL?")]}
# .stream() を使うことで、エージェントの思考プロセスとツール呼び出しの各ステップをリアルタイムで確認できます。
for s in app.stream(inputs):
    print(s)
    print("---")

print("\n--- LangGraph Agent Output ---")
# 最終的な結果は、ストリームの最後のメッセージに含まれることが多いです。
# または、app.invoke(inputs) で直接最終結果を取得することもできます。
final_result = app.invoke(inputs)
print(final_result["messages"][-1].content)

print("\n--- LangGraph Agent Ready ---")

LangGraphを使用することで、複数のツールを組み合わせた複雑な対話フローや、条件分岐を伴うエージェントの振る舞いを柔軟に設計できます。

LLMエージェントのツール連携における典型的な誤動作と対策

このセクションでは、LLMエージェント、特にAgentic RAGでよく発生するツール連携の誤動作パターンと、その具体的な回避策を解説します。

1. エージェントの無限ループ

問題: LLMエージェントがタスクを完了できずに、同じツールを繰り返し呼び出したり、無意味な思考を繰り返したりして無限ループに陥ることがあります。これは、停止条件が不明確な場合や、エージェントが次のステップに進むべきタイミングを明確に判断できない場合に発生しやすいです。

回避策:

  • 明確なゴール定義とステップバイステップの計画: プロンプトでエージェントの最終目標と、タスク完了の条件を具体的に定義します。「タスクが完了したら、最終回答をユーザーに提示してください」といった指示が有効です。
  • 最大ステップ数の設定: AgentExecutorのmax_iterations引数や、LangGraphのmax_stepsなどの設定で、エージェントの実行に最大ステップ数を設定し、それを超えた場合は強制的に停止させます。これにより、無限ループに陥った場合でもリソースの無駄遣いを防ぎ、デバッグのきっかけを与えます。 
    # AgentExecutor での max_iterations 設定例
agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True, max_iterations=10, handle_parsing_errors=True)
  • 思考プロンプトの改善: エージェントが現在の状況を評価し、次に取るべき行動を決定するための思考プロセスを促すプロンプトを改善します。例えば、「現在の状況を評価し、次に取るべき最適なアクションを決定してください。もしタスクが完了していれば、最終回答を生成してください。」といった指示を含めます。
  • LangSmithでのデバッグ: LangSmithを使用してエージェントの実行トレースを詳細に確認し、どのステップでループが発生しているかを特定します。トレースを見ることで、エージェントがなぜ同じ思考や行動を繰り返しているのか、その根本原因を突き止めることができます。

2. ツールの誤った呼び出し・入力フォーマットの不一致

問題: LLMがツールの説明を誤解したり、必要な引数を正しく渡せなかったり、期待される入力フォーマットと異なるデータを生成したりすることがあります。これにより、ツールが失敗し、エージェントの動作が停止したり、誤った結果を生成したりします。

回避策:

  • ツールの明確な説明とPydanticによる入力検証:
    • ツールの機能、引数、戻り値を明確に記述したdocstringを提供し、LLMがツールを正しく理解するように促します。
    • Pydanticモデルを使用してツールの入力スキーマを厳密に定義することで、LLMが正しい形式でデータを渡すように強制します。LangChainのStructuredToolの使用を推奨します。
    from langchain_core.pydantic_v1 import BaseModel, Field
from langchain_core.tools import StructuredTool

# Pydanticモデルで入力スキーマを定義
class WeatherToolInput(BaseModel):
    city: str = Field(description="The city name for which to fetch the weather.")

@tool(args_schema=WeatherToolInput)
def get_weather_structured(city: str) -> str:
    """Fetches the current weather for a given city."""
    if city.lower() == "tokyo":
        return "Tokyo: Sunny, 25°C"
    elif city.lower() == "london":
        return "London: Cloudy, 18°C"
    else:
        return f"Weather data for {city} not available."

# このツールをエージェントに渡す
# tools.append(get_weather_structured)
  • 堅牢なエラーハンドリング: ツール内で予期されるエラー（例: API呼び出しの失敗、無効な入力）を適切に処理し、エージェントが解釈して対応できるような有益なエラーメッセージを返します。AgentExecutorのhandle_parsing_errors=Trueを設定することで、LLMの出力がツールの期待するJSON形式と異なる場合に、エラーメッセージをLLMにフィードバックして自己修正を促すことができます。
  • Few-shot prompting: ツール使用の具体例をプロンプトに含めることで、LLMに正しいツールの呼び出しパターンを示します。特に複雑なツールや引数が多いツールで有効です。

3. ハルシネーションと不正確な情報生成

問題: LLMエージェントは、自信満々に誤った情報や誤解を招く情報を生成する「ハルシネーション」を引き起こす可能性があります。エージェントパイプラインでは、これが連鎖的に誤った行動につながることがあります。

回避策:

  • RAGによる情報源の強化: 外部の信頼できる知識ベースから情報を取得し、それをLLMに提供することで、生成される回答の事実に基づいた正確性を高めます。Agentic RAGは、このプロセスを反復的に行い、より関連性の高い情報を取得できます。
  • 複数の情報源の利用とクロスチェック: 可能な場合は、複数のツールや情報源からデータを取得し、それらを比較することで、情報の信頼性を高めます。エージェントに「複数の情報源で確認する」という指示を与えることも有効です。
  • Human-in-the-Loop: 高リスクなタスクや重要な決定を伴うタスクでは、人間のレビューや承認をワークフローに組み込むことで、エージェントの誤動作による影響を軽減します。LangGraphはHuman-in-the-Loopの実装を容易にします。
  • プロンプトでの「不確実性の表明」の奨励: LLMが確信が持てない場合に、その旨を正直に伝えるようにプロンプトで指示します。

LLMエージェントの評価基準と改善のためのベストプラクティス

このセクションでは、構築したLLMエージェント、特にAgentic RAGの品質を評価するための基準と、長期的な改善のための設計原則やベストプラクティスを解説します。

LLMエージェントの評価基準

エージェントの動作を客観的に評価することは、その品質を向上させる上で不可欠です。LangSmithのようなツールを活用し、以下の基準で評価を行います。

  1. タスク完了率 (Success Rate):
    • エージェントが与えられたタスクを完全に、かつ正確に完了した割合。
    • 最終回答の正確性、関連性、完全性が評価のポイントです。
  2. ツール利用の適切性 (Tool Utilization Appropriateness):
    • エージェントが適切なタイミングで、適切なツールを、適切な引数で呼び出したか。
    • 不要なツール呼び出しや、誤ったツール選択は低評価となります。
  3. 効率性 (Efficiency / Latency & Cost):
    • タスク完了までのステップ数、実行時間（レイテンシ）、LLM呼び出し回数、トークン消費量。
    • 同じ結果をより少ないステップ、時間、コストで達成できるかどうかが重要です。
  4. 堅牢性 (Robustness):
    • エッジケース、曖昧なクエリ、または誤った入力に対して、エージェントがどれだけ適切に対応できるか。
    • エラーハンドリングの質や、予期せぬ状況からの回復能力も含まれます。
  5. ハルシネーションの少なさ (Reduced Hallucination):
    • エージェントが事実に基づかない情報を生成する頻度。Agentic RAGでは、特に取得した情報の正確性が重要です。
  6. ユーザーエクスペリエンス (User Experience):
    • 生成される回答の自然さ、分かりやすさ、そしてユーザーの意図を汲み取った対話ができているか。

これらの基準を基に、LangSmithの評価機能を使って、人間のフィードバックや自動評価スクリプトを組み込むことで、エージェントのパフォーマンスを継続的に測定し、改善サイクルを回すことができます。

改善のための設計原則とベストプラクティス

LLMエージェント、特にAgentic RAGを安定稼働させ、その品質を高めるためには、以下の設計原則とベストプラクティスが重要です。

  • 明確なエージェントの目標定義: エージェントの役割、目標、制約をプロンプトで具体的に記述します。曖昧な指示は、エージェントの誤動作や非効率な動きにつながります。
  • スマートで粒度の高いツールの設計:
    • ツールの機能、引数、戻り値を明確に記述したdocstringを充実させ、LLMが理解しやすいようにします。
    • Pydanticモデルを使用して入力制約を強制し、エラーハンドリングを改善します。これにより、LLMが誤った形式の引数を生成するのを防ぎます。
    • ツールをモジュール化し、独立してテストおよび再利用できるように最適化します。単一責任の原則に従い、一つのツールは一つの明確な機能を持つようにします。
  • 反復的な観察と自己修正の採用: LangChainやLangGraphは、エージェントが自身の行動と出力を観察し、必要に応じて修正することを可能にします。プロンプトで「思考（Thought）」ステップを促し、エージェントが自己評価を行う機会を与えます。
  • コスト管理と効率性の追求:
    • セマンティックキャッシングやLangChainの関数呼び出しキャッシングを活用して、LLM呼び出し回数を削減し、コストを抑えます。
    • LangSmithのようなツールを使用して、トレース、デバッグ、評価を行い、コストを最適化します。不要なツール呼び出しや冗長な思考プロセスを特定し、プロンプトやツール設計を改善します。
  • 厳密なテストと反復: 堅牢なエージェントを構築するためには、厳密なテストと反復が不可欠です。様々なシナリオ、エッジケース、誤った入力に対してエージェントの挙動をテストし、LangSmithの評価機能などを活用します。
  • 倫理的考慮事項とガードレールの統合:
    • 有害なステレオタイプや不公平な決定を防ぐためのチェックとバランスを実装します。プロンプトに倫理的なガイドラインを含めたり、出力フィルタリングを導入したりします。
    • 機密性の高い操作（ファイルの削除、金融取引など）へのエージェントのアクセスには細心の注意を払い、厳格なアクセス制御と入力検証を実装します。
    • Human-in-the-Loopを導入し、高リスクなタスクでは人間のレビューを組み込みます。
  • 堅牢な監視とロギングの実装: エージェントの動作を追跡し、問題発生時にデバッグできるように、ツール呼び出しを含むすべてのステップをログに記録します。LangSmithはこれを容易にします。
  • オーケストレーションフレームワークの活用: LangGraphのようなオーケストレーションフレームワークを使用して、ツール呼び出しを効率化し、複雑な状態遷移や条件分岐を管理することで、レイテンシを削減し、エージェントの信頼性を向上させます。

まとめ

本記事では、LLMエージェント、特にAgentic RAGにおけるツール連携の課題に焦点を当て、その具体的な誤動作パターンと回避策、そしてエージェントの評価基準と改善のためのベストプラクティスを解説しました。

  • LangChain 1.0とLangGraphを活用することで、LLMエージェントは外部ツールと連携し、複雑なタスクを自律的に解決できます。
  • 無限ループ、ツールの誤った呼び出し、ハルシネーションといった典型的な誤動作は、プロンプトの改善、Pydanticによる厳密な入力検証、堅牢なエラーハンドリング、そしてLangSmithのようなデバッグツールの活用によって回避・軽減できます。
  • タスク完了率、ツール利用の適切性、効率性、堅牢性、ハルシネーションの少なさ、ユーザーエクスペリエンスといった多角的な評価基準を設け、継続的なテストと反復によってエージェントの品質を高めることが重要です。

これらの知見を活かし、あなたのLLMエージェントがより賢く、より信頼性の高いAgentic RAGシステムとして機能するよう、ぜひ実践してみてください。さらなる深掘りには、LangChain公式ドキュメントやLangGraphのドキュメントが非常に参考になります。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?