多くのRAG(検索拡張生成)システム開発者が直面する共通の壁、それがLLM(大規模言語モデル)の「幻覚(ハルシネーション)」問題です。AIがもっともらしいが事実と異なる情報を生成する現象は、システムの信頼性を大きく損ない、実運用への障壁となります。しかし、この幻覚問題は「評価」を自動化し、改善サイクルを回すことで、着実に精度を高めることが可能です。
本記事では、RAGの幻覚問題に焦点を当て、その精度を高めるための評価駆動による自動化戦略を詳解します。具体的には、RAG 評価指標の活用、評価ツール(RAGAS、Langfuse)の導入、実装例、そして実務で役立つ幻覚回避策とベストプラクティスを紹介します。この記事を読むことで、あなたのRAGシステムの幻覚問題を定量的に把握し、効果的に改善する具体的なアプローチが手に入ります。
RAGにおける幻覚問題とは?なぜ評価が重要なのか
まず、RAGシステムで幻覚がなぜ発生するのか、そのメカニズムと、なぜ「評価」がその対策に不可欠なのかを解説します。RAGシステムは、外部の知識源から情報を検索し、その情報に基づいてLLMが回答を生成します。このプロセスにおいて、主に以下の原因で幻覚が発生します。
- 検索結果の不正確さ・不十分さ: LLMに渡されるコンテキスト自体が間違っていたり、必要な情報が欠けていたりする場合、LLMは不足分を補うために「もっともらしい嘘」を生成しがちです。
- LLMの推論の限界: LLMは学習データに基づいてパターンを認識し、次の単語を予測するモデルです。与えられたコンテキストが曖昧だったり、特定の質問に対する明確な回答を含んでいなかったりすると、LLMは「知っていること」と「推論したこと」の区別がつかなくなり、誤った情報を生成することがあります。
- プロンプトの不備: LLMへの指示(プロンプト)が曖昧であると、LLMは自由度が高くなり、意図しない情報や事実に基づかない情報を生成するリスクが高まります。
これらの問題は、開発者の「体感」だけで改善するのは困難です。RAGシステムのどの部分に問題があるのか(検索なのか、生成なのか、それともデータの質なのか)を特定し、具体的な改善アクションに繋げるためには、定量的な評価指標に基づいた評価駆動開発が不可欠です。
RAGASとLangfuseで実現する評価駆動の自動化戦略
RAGシステムの評価を自動化し、幻覚問題を体系的に解決するために、RAGASとLangfuseは強力な組み合わせとなります。このセクションでは、それぞれのツールの概要と、連携による評価の自動化戦略について説明します。
RAGAS: RAGシステムの主要な評価指標
RAGAS (Retrieval-Augmented Generation Assessment) は、RAGシステムの精度を評価するためのオープンソースフレームワークです。RAGASは、検索(Retrieval)と生成(Generation)の両側面からRAGの品質を多角的に評価するためのメトリクスを提供します。
RAGASの主要な評価指標(メトリクス):
- Faithfulness(忠実度): 生成された回答が、与えられた検索コンテキストに基づいているか、つまり「幻覚」が含まれていないかを評価します。スコアが高いほど、回答がコンテキストに忠実であることを示します。
- Answer Relevancy(回答の関連性): 生成された回答が、ユーザーの質問にどれだけ関連しているかを評価します。質問の意図を正確に捉え、的確に回答できているかを見ます。
- Context Precision(コンテキストの適合率): 検索で取得されたコンテキストが、回答に必要な情報のみを含んでいるか、つまり無関係な情報が混ざっていないかを評価します。ノイズが少ないほどスコアが高くなります。
-
Context Recall(コンテキストの再現率): 人間が用意した正解(Ground Truth)の回答を生成するために、必要な情報が検索でどれだけ網羅的に取得できたかを評価します。情報源の網羅性を示します。
- 補足: Context Recallの評価にはGround Truthの回答が必要です。これは評価データセット準備における最もコストがかかる部分の一つです。
これらの指標を組み合わせることで、RAGシステムのどこに問題があるのか(例えば、Faithfulnessが低いならLLMの生成が問題、Context Recallが低いなら検索が問題)を特定しやすくなります。RAGASの最新バージョンは0.4.x系です(2024年5月時点)。詳細はRAGAS公式ドキュメントを参照してください。
Langfuse: RAGアプリケーションのトレースと評価の可視化
Langfuseは、RAGアプリケーションの実行をトレースし、評価結果を連携・可視化するためのプラットフォームです。RAGASと組み合わせることで、RAGシステムのパフォーマンスを継続的に監視し、改善サイクルを効率的に回すことが可能になります。
Langfuseの主な機能:
- トレース: RAGアプリケーションの各ステップ(ユーザーの質問、検索、LLMによる生成、最終的な回答など)を詳細に記録し、ボトルネックやエラーの原因を特定しやすくします。
- 評価結果の連携: RAGASなどで算出した評価スコアを、対応するトレースに紐付けて記録できます。
- ダッシュボード: 記録されたトレースと評価スコアをダッシュボードで可視化し、時系列でのパフォーマンス変化や、特定の質問に対する詳細な分析を可能にします。
Langfuseを導入することで、RAGシステムの動作を「ブラックボックス」にせず、開発者が具体的なデータに基づいて改善を進めるための「ホワイトボックス」化を支援します。詳細はLangfuse公式ドキュメントを参照してください。
RAGASとLangfuseを連携した評価の実装例
ここでは、RAGASで評価データセットを準備し、評価を実行する具体的なPythonコードを示します。Langfuseとの連携についても基本的な流れを解説します。
評価データセットの準備
RAGASで評価を行うためには、質問(question)、RAGシステムが生成した回答(answer)、回答の根拠となった検索コンテキスト(contexts)、そしてContext Recall評価のために人間が用意した正解の回答(ground_truth)を含むデータセットが必要です。
from datasets import Dataset
# 評価データセットの準備
# 'question': ユーザーからの質問
# 'answer': RAGシステムが生成した回答
# 'contexts': 回答の根拠となった検索コンテキスト(リストのリスト)
# 'ground_truth': 人間が用意した正解の回答(Context Recallの評価に必要)
data = {
"question": ["RAGASとは何ですか?", "Langfuseの主な機能は何ですか?"],
"answer": ["RAGASはRAGシステムの評価フレームワークです。", "LangfuseはRAGアプリケーションのトレースと評価を可能にします。"],
"contexts": [
["RAGASはRetrieval-Augmented Generation Assessmentの略で、RAGシステムの品質を評価するためのオープンソースフレームワークです。"],
["LangfuseはRAGアプリケーションの実行をトレースし、評価結果を記録・可視化するツールです。RAGASと連携して利用できます。"]
],
"ground_truth": ["RAGASはRAGシステムの評価フレームワークであり、忠実度や関連性などの指標を提供します。", "LangfuseはRAGアプリケーションのトレース、評価、デバッグをサポートするプラットフォームです。"]
}
dataset = Dataset.from_dict(data)
print("評価データセットの準備が完了しました。")
print(dataset)
このデータセットは、RAGシステムが生成した出力と、それに対する理想的な正解、そして検索結果を構造化してRAGASに渡すためのものです。
RAGASによる評価の実行
準備したデータセットと評価したいメトリクスをRAGASのevaluate関数に渡して評価を実行します。RAGASはOpenAI APIなどのLLMを内部的に使用して評価を行うため、APIキーの設定が必要です。
import os
from ragas import evaluate
from ragas.metrics import (
faithfulness,
answer_relevancy,
context_precision,
context_recall
)
from datasets import Dataset # 上記のdataset定義を再利用する場合、または別途定義
# 評価データセットの準備(上記コードからdatasetを再利用)
# 例として、上記のdatasetをここで再定義
data = {
"question": ["RAGASとは何ですか?", "Langfuseの主な機能は何ですか?"],
"answer": ["RAGASはRAGシステムの評価フレームワークです。", "LangfuseはRAGアプリケーションのトレースと評価を可能にします。"],
"contexts": [
["RAGASはRetrieval-Augmented Generation Assessmentの略で、RAGシステムの品質を評価するためのオープンソースフレームワークです。"],
["LangfuseはRAGアプリケーションの実行をトレースし、評価結果を記録・可視化するツールです。RAGASと連携して利用できます。"]
],
"ground_truth": ["RAGASはRAGシステムの評価フレームワークであり、忠実度や関連性などの指標を提供します。", "LangfuseはRAGアプリケーションのトレース、評価、デバッグをサポートするプラットフォームです。"]
}
dataset = Dataset.from_dict(data)
# 評価メトリクスの定義
metrics = [
faithfulness,
answer_relevancy,
context_precision,
context_recall,
]
# OpenAI APIキーの設定 (環境変数に設定することを推奨)
# os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"
# RAGASによる評価の実行
result = evaluate(
dataset=dataset,
metrics=metrics,
)
print("\nRAGASによる評価結果:")
print(result)
# 結果をPandas DataFrameとして表示
print("\n評価結果 (DataFrame):")
print(result.to_pandas())
このコードを実行すると、各メトリクスに応じたスコアが算出されます。Faithfulnessが低い場合は幻覚が発生している可能性が高く、Context Recallが低い場合は検索が不十分である可能性を示唆します。
LangfuseへのRAGASスコア記録の例
LangfuseにRAGASスコアを記録するためには、まずRAGアプリケーションの実行をLangfuse SDKでトレースし、そのトレースIDと評価スコアを紐付ける必要があります。
-
Langfuse SDKの初期化とRAGアプリケーションのトレース:
import os from langfuse import Langfuse # 環境変数にLangfuseのAPIキーとホストURLを設定 # os.environ["LANGFUSE_PUBLIC_KEY"] = "pk-lf-..." # os.environ["LANGFUSE_SECRET_KEY"] = "sk-lf-..." # os.environ["LANGFUSE_HOST"] = "https://cloud.langfuse.com" # またはセルフホストのURL # langfuse = Langfuse() # RAGアプリケーションの実行とトレースの例 # trace = langfuse.trace(name="rag-query", input={"question": "RAGASとは何ですか?"}) # span_retrieval = trace.span(name="retrieval") # # 検索ロジック... (例: pgvector, Amazon Kendraなどを使用) # retrieved_contexts = ["RAGASはRetrieval-Augmented Generation Assessmentの略で、RAGシステムの品質を評価するためのオープンソースフレームワークです。"] # span_retrieval.end(output={"contexts": retrieved_contexts}) # span_generation = trace.span(name="generation") # # LLM生成ロジック... (例: OpenAI API, Anthropic Claude 3 Haikuなどを使用) # generated_answer = "RAGASはRAGシステムの評価フレームワークです。" # span_generation.end(output={"answer": generated_answer}) # trace.end(output={"final_answer": generated_answer}) # trace_id = trace.id # このトレースIDをRAGAS評価結果と紐付ける # print(f"Langfuse Trace ID: {trace_id}")このステップでは、RAGアプリケーションが実際に実行され、その過程がLangfuseに記録されます。
trace.idは後続の評価結果送信で利用します。 -
RAGAS評価の実行:
上記RAGAS評価の実行例を参照し、RAGアプリケーションで生成されたanswerとcontexts、questionを用いて評価を実行します。 -
評価スコアのLangfuseへの送信:
# from langfuse.client import Evaluation # # 仮のトレースID (実際にはRAGアプリケーション実行時に取得したtrace.idを使用) # trace_id = "your-actual-trace-id-from-rag-application" # # RAGAS評価結果から各メトリクスを取得 (上記resultオブジェクトから) # # 例: result.to_pandas().iloc[0] で最初の質問の評価結果を取得 # first_evaluation_result = result.to_pandas().iloc[0] # faithfulness_score = first_evaluation_result["faithfulness"] # answer_relevancy_score = first_evaluation_result["answer_relevancy"] # context_precision_score = first_evaluation_result["context_precision"] # context_recall_score = first_evaluation_result["context_recall"] # # 各メトリクスをLangfuseに送信 # langfuse.score( # trace_id=trace_id, # name="faithfulness", # value=faithfulness_score, # comment="RAGAS faithfulness score" # ) # langfuse.score( # trace_id=trace_id, # name="answer_relevancy", # value=answer_relevancy_score, # comment="RAGAS answer relevancy score" # ) # langfuse.score( # trace_id=trace_id, # name="context_precision", # value=context_precision_score, # comment="RAGAS context precision score" # ) # langfuse.score( # trace_id=trace_id, # name="context_recall", # value=context_recall_score, # comment="RAGAS context recall score" # ) # print(f"RAGASスコアをLangfuseトレース {trace_id} に記録しました。")この連携により、Langfuseのダッシュボード上でRAGアプリケーションの各実行(トレース)と、それに対応するRAGASの評価スコアを一度に確認できるようになります。これにより、パフォーマンスの低下や特定の幻覚問題が発生した際に、どのステップに原因があるのかを迅速に特定し、改善策を検討できます。
RAGの幻覚問題でよくあるエラーと回避策
RAGシステムの開発では、幻覚問題以外にも様々な課題に直面します。ここでは、よくあるエラーと、それに対する具体的な回避策、そしてRAGの精度向上に向けた多角的なアプローチを紹介します。
1. ぜんぜん関係ない回答が返ってくる(ハルシネーション)
RAGの幻覚問題で最も深刻なのが、事実に基づかない回答が生成されることです。
-
よくある原因:
- 関係ない情報を含むチャンクが検索されている。
- 情報不足のコンテキストからLLMが無理に回答を生成しようとしている。
- LLMがコンテキストを無視して、自身の事前学習知識に基づいて回答している。
-
回避策:
- Context Recallの確認: RAGAS評価でContext Recallが低い場合、必要な情報が検索できていない可能性があります。情報源の拡充や検索戦略の見直し(例: クエリ拡張、ハイブリッド検索)が必要です。
- Faithfulnessの確認: Faithfulnessが低い場合、LLMがコンテキストに忠実でない回答を生成しています。
-
根拠を明示させるプロンプト: LLMに回答の根拠を明示させるように指示し、根拠がない場合は生成しないように促します。
# プロンプト例 """ 以下の情報に基づいて質問に回答してください。 情報: {contexts} 質問: {question} 回答は必ず提供された情報のみに基づいてください。 情報源にない内容を推測して回答しないでください。 情報源に回答がない場合は、「提供された情報からは回答できません。」と答えてください。 """ - 検索結果の再ランキング (Re-ranking) の導入: 検索で取得したドキュメントの関連性を高めるためにリランカー(例: Cross-Encoder)を導入し、LLMに渡すコンテキストの質を向上させます。
- チャンクサイズの最適化: 適切な粒度でドキュメントを分割し、意味的に関連性の高い情報がまとまるようにします。小さすぎると文脈が失われ、大きすぎるとノイズが増えます。LangChain TextSplittersなどを活用しましょう。
- 埋め込みモデルの再検討: ユーザーの質問の意図を正確に捉えられる、より高性能な埋め込みモデルを選択します。
2. 無関係な情報が多く、回答が冗長
LLMが質問に直接関係のない情報まで含めて回答してしまうケースです。
-
よくある原因:
- Context Precisionが低い(検索結果に無関係な情報が多い)。
- Answer Relevancyが低い(回答が質問の意図からずれている)。
-
回避策:
- 検索結果の再ランキング (Re-ranking) の導入: 検索で取得するドキュメントの関連性を高め、LLMに渡す情報の質を向上させます。
- 検索で取得するドキュメント数(k)を減らす: 不要な情報がLLMに渡されるのを防ぎ、LLMの注意力を集中させます。
- ドキュメントのチャンクサイズを短くする: LLMが処理するコンテキスト量を減らし、集中力を高めます。ただし、文脈が失われないように注意が必要です。
3. 回答が不十分・情報不足
質問に対する回答が網羅的でなかったり、重要な情報が欠けていたりするケースです。
-
よくある原因:
- Context Recallが低い(必要な情報が検索できていない)。
-
回避策:
- 検索で取得するドキュメント数(k)を増やす: より多くの関連情報をLLMに提供します。ただし、冗長性とのトレードオフに注意が必要です。
- クエリ拡張: ユーザーの質問を複数のクエリに変換したり、同義語や関連語を追加したりして、検索の網羅性を高めます。
- ベクトル検索とキーワード検索の組み合わせ(ハイブリッド検索): 検索の精度と網羅性を両立させ、より多くの関連情報を取得できるようにします。pgvectorやAmazon Kendraなどのベクトルデータベース/検索サービスを活用できます。
4. RAGの精度低下はLLMだけでなく、複合的な問題である
RAGの精度問題は、LLMだけが原因ではありません。元データ、チャンク、メタデータ、検索、Rerank、生成制約、評価データ、本番ログといった複数の要素が絡み合っています。
-
回避策: 改善は「体感」ではなく、Context Precision、Context Recall、Faithfulness、Answer Relevancyなどの評価指標で測り、以下の順序で進めるのが効果的です。
- データ: 元データの品質(正確性、網羅性、鮮度)を確認・改善。不正確な情報は幻覚の温床となります。
- チャンク: チャンキング戦略(サイズ、オーバーラップ)を最適化。意味的に適切なチャンク分割が重要です。
- メタデータ: メタデータフィルタリングを活用し、検索範囲を絞り込みます。
- Hybrid Search: ベクトル検索とキーワード検索を組み合わせ、検索の精度と網羅性を両立させます。
- Reranker: 検索結果の関連性を向上させるリランカーを導入し、LLMに渡すコンテキストの質を最大化します。
- 生成制約: プロンプトエンジニアリングによりLLMの回答に制約を設け、幻覚を抑制します。
- Evals: 評価データセットの拡充と継続的な評価を自動化します。
- 本番ログ: 実際のユーザーインタラクションから得られるログを分析し、フィードバックループを構築します。
RAGシステム設計におけるトレードオフとベストプラクティス
RAGシステムを構築する際には、様々な技術的選択が求められます。ここでは、設計上のトレードオフと、実務で役立つベストプラクティスを紹介します。
設計上のトレードオフ
- 検索精度と推論能力のバランス: 検索エンジンの性能が悪ければ回答は的外れになり、検索結果を詰め込みすぎるとコンテキストウィンドウの制限や注意力の分散によりLLMの推論能力が低下します。適切な検索結果の量と質を見極める必要があります。
- チャンクサイズ: 小さすぎると重要なコンテキストが失われ、大きすぎるとノイズが増え、回答精度が下がる可能性があります。ドメインやデータ特性に応じた最適なチャンクサイズを見つける必要があります。
- 評価コストと運用負荷: Context Recallなど一部の指標はGround Truth/Referenceを前提とし、評価コストや運用負荷が高くなる場合がある。FaithfulnessやAnswer Relevancyのように、取得文脈と生成回答の整合性を中心に評価できる指標を活用することで、評価コストを抑えることも可能です。
- 処理時間とリソース消費: Advanced RAGの改善テクニック(例: リランキング、クエリ拡張、複数のLLM呼び出し)を導入する際は、処理時間やリソース消費とのトレードオフを考慮し、ユーザー体験やコストに見合った適切なバランスを取る必要があります。
- ベクトルDBの選択: 性能(検索速度、スケーラビリティ)とコスト(運用費用、ストレージ費用)のバランスを考慮した選択が重要です。pgvectorのようなOSSを使うか、PineconeやWeaviateなどのマネージドサービスを使うか、要件に合わせて検討しましょう。
ベストプラクティス
- 評価駆動開発: RAGの品質を定量的に測定し、継続的に改善するサイクル(評価→改善→再評価)を回すことが最も重要です。LangfuseとRAGASを組み合わせた評価駆動の自動化戦略は、このサイクルを効率的に実現します。
- RAGASの活用: Faithfulness、Answer Relevancy、Context Precision、Context Recallなどの主要な評価指標を用いて、検索と生成の品質を多角的に評価する。これにより、問題の根本原因を特定しやすくなります。
- Langfuseによるトレースと評価結果の連携: RAGアプリケーションの実行過程を追跡し、評価スコアと紐付けて可視化・分析することで、継続的な改善サイクルを効率的に実現します。
- チャンキング戦略の最適化: ドキュメントを意味的に関連性の高いチャンクに分割し、オーバーラップを適切に設定する。セマンティックチャンキングや再帰的チャンキングなど、高度な手法も検討します。
- ハイブリッド検索の導入: キーワード検索(BM25など)とベクトル検索を組み合わせることで、検索精度と網羅性を向上させます。
- リランキングの活用: 検索結果の関連性をさらに高めるために、Cross-Encoderなどのリランカーを導入し、LLMに渡すコンテキストの質を最大化します。
- プロンプトエンジニアリングの工夫: LLMへの指示(プロンプト)において、根拠の明示、不明な場合の回答方法、回答形式などの制約を明確に加えます。
- データ品質の重視: 不正確な情報や古い情報、不完全な記述が含まれるデータは回答精度を低下させるため、データの整備や埋め込みモデルの改善が重要です。
- 段階的な改善: いきなりGraphRAGやAgentic RAGに進むのではなく、まずClassic / Hybrid RAGの失敗原因を特定し、必要な範囲だけ高度化する。シンプルなRAGから始め、評価に基づいてボトルネックを特定し、段階的に複雑な手法を導入します。
- 運用を見据えた評価設計: PoCの段階で評価設計まで整えておくことで、導入後の改善スピードが大きく変わります。自動評価パイプラインの構築を視野に入れましょう。
- ハルシネーションの自動検出と自己修正: RagasやNeMo Guardrailsなどのツールを活用した自動評価、そして可能であれば自己修正ループの構築を目指します。LettuceDetectのようなLLM-as-a-Judgeよりも高速なハルシネーション検出手法も今後注目されます。
まとめ
RAGにおける幻覚問題は、AIシステムの信頼性を左右する重要な課題です。しかし、RAGASやLangfuseといった評価ツールを導入し、評価指標に基づいた評価駆動開発を行うことで、この問題を定量的に把握し、効果的に改善していくことが可能です。
本記事では、RAGASによる評価データセットの準備と評価の実行例、Langfuseとの連携による自動評価戦略、そして実務で遭遇しがちな幻覚問題や精度低下のパターンと、それらに対する具体的な回避策を紹介しました。
RAGシステムの精度向上は、単一の要素に依存するものではなく、データ品質、チャンキング戦略、検索手法、プロンプトエンジニアリング、そして継続的な評価の複合的な改善によって達成されます。ぜひ本記事で紹介した評価駆動の自動化戦略をあなたのRAGシステム開発に導入し、より信頼性の高いAIアプリケーションの実現を目指してください。
次の一歩として、RAGASやLangfuseの公式ドキュメントでさらに詳細な機能や最新情報を確認し、実際のプロジェクトに適用していくことをお勧めします。