RAGの回答精度を客観的に評価する：RAGASフレームワークを用いた検証パイプラインの構築

はじめに

こんにちは、NKKTech Global 技術チームです。

RAG（Retrieval-Augmented Generation）の実装自体は容易になりましたが、その「精度評価」に悩むエンジニアが急増しています。「なんとなく良さそう」という主観的な評価では、プロンプトの変更やベクトルDBのチューニングが本当に改善に繋がったのか判断できません。

そこで注目されているのが、LLMを「評価者」として活用するフレームワーク RAGAS です。本記事では、RAGASを用いたRAG評価の核心と、自動検証パイプラインの構築方法を紹介します。

1. RAGASが定義する「4つの主要メトリクス」

RAGASは、RAGのプロセスを「検索（Retrieval）」と「生成（Generation）」に分解し、以下の4つの指標で多角的に評価します。

生成（Generation）の評価

Faithfulness (忠実性): 回答が提供されたコンテキスト（検索結果）に基づいているか。ハルシネーション（嘘）を防ぐための最重要指標です。
Answer Relevance (回答の関連性): ユーザーの質問に対して、回答が的を射ているか。

検索（Retrieval）の評価

Context Precision (コンテキストの適合率): 検索された上位の結果の中に、回答に必要な情報がどれだけ含まれていたか。
Context Recall (コンテキストの再現率): 正解を導き出すために必要な情報が、漏れなく検索されていたか。

2. RAGASを用いた評価パイプラインの実装

RAGASは、質問・回答・コンテキスト・正解の4つのデータセットがあれば、数行のコードでスコアリングが可能です。

実装例（Python）

from ragas import evaluate
from ragas.metrics import faithfulness, answer_relevance, context_precision, context_recall
from datasets import Dataset

# 1. 評価用データの準備
data_samples = {
    'question': ['NKKTechの設立日は？'],
    'answer': ['NKKTechは2020年に設立されました。'],
    'contexts': [['NKKTechはグローバルなAI開発を支援するため2020年に創業されました。']],
    'ground_truth': ['2020年']
}

dataset = Dataset.from_dict(data_samples)

# 2. メトリクスを指定して評価を実行
score = evaluate(
    dataset,
    metrics=[
        faithfulness,
        answer_relevance,
        context_precision,
        context_recall
    ]
)

print(score.to_pandas())

3. 実践：検証パイプラインの構築ステップ

RAGの改善速度を最大化するためには、以下の検証パイプラインをCI/CDに組み込むのが理想的です。

ゴールデンデータセット（正解集）の作成:
- 人手、またはLLM（GPT-4等）を用いて、社内ドキュメントから「質問と正解」のペアを100件程度作成します。
実験管理（Experiment Tracking）:
- チャンクサイズ、埋め込みモデル、プロンプトを変更するたびにRAGASでスコアを測定。
- LangSmith などのツールと連携し、各実験のスコア履歴を可視化します。
回帰テストの自動化:
- コードを変更した際、RAGASスコアが一定基準（例：Faithfulness > 0.8）を下回ったらアラートを出す、あるいはデプロイを止める仕組みを構築します。

4. RAGASを運用する上でのヒント

評価モデル（Critic LLM）の選定: 評価を行うLLMには、回答生成用よりも高性能なモデル（例：GPT-4o）を使用することで、評価の信頼性が向上します。
日本語への対応: RAGASは内部でLLMを使用しているため、評価指示（Prompt）を日本語に調整するか、十分な推論能力を持つモデルを使用することで、日本語のRAGシステムも高精度に評価可能です。

まとめ：データに基づいたRAG改善を

RAGの開発は「作って終わり」ではなく、継続的な精度向上が不可欠です。RAGASのようなフレームワークを導入し、**「精度を数値化」**することで、初めてエンジニアリングによる改善が可能になります。

NKKTech Globalでは、最新の評価フレームワークを駆使し、ハルシネーションを極限まで抑えた高品質なエンタープライズRAGソリューションを提供しています。

お問い合わせ先

RAGシステムの精度向上や、評価パイプラインの構築、社内ナレッジベースの高度化に関するご相談は、ぜひ弊社までお気軽にお問い合わせください。

Webサイト: https://nkktech.com/
メール: contact@nkk.com.vn
LinkedIn: NKKTech Global Official

著者：NKKTech Global 技術チーム
私たちは、客観的なデータと高度な技術力で、ビジネスに真の価値をもたらすAI実装を追求しています。