はじめに
DifyでRAGアプリを作っていると、チャンクサイズを変えたり、スコア閾値をいじったり、リランクモデルを足したりと、調整したくなるポイントがたくさん出てきます。
私も最初は、数問試して「あ、良くなったかも」で次に進んでいました。でもこのやり方だと、ある質問は良くなっても別の質問が悪くなっていることに気づけません。クライアントに「精度どうなの?」と聞かれても、答えに困ります。
そこで、評価の仕組みを作って、数字で見ながら改善する流れを調べて整理してみました。この記事はその内容をまとめたものです。難しいことはしていないので、RAGを触り始めた方の参考になればうれしいです。
この記事で書くこと
- RAGの評価はなぜ必要なのか
- 評価データセットの作り方
- 何を測るか(検索と回答を分けて考える)
- 改善サイクルの回し方
- 最初の一歩としてPythonで検索精度を測る例
なぜ評価が必要なのか
理由は大きく2つあります。
-
変更の効果が分からない
チャンクサイズを500から800にしたら良くなったのか、たまたま試した質問が良くなっただけなのか、数問見ただけでは判断できません。 -
説明できない
仕事で作る場合、「このくらいの品質です」と根拠を示せないと、納品も運用も不安になります。
なので、同じ質問セットで、変更の前後を数字で比べられる状態を作るのが目標です。
評価データセットを作る
最初に必要なのは、質問と正解のペアです。
| 質問 | 正解の回答 | 根拠の文書 |
|---|---|---|
| 〇〇の検査頻度は? | 月1回 | 検査手順書.pdf |
| △△の許容値は? | 0.5mm以下 | 品質基準.pdf |
| (文書にない質問) | 該当情報なし | なし |
ポイントは次の3つです。
- 30〜50件くらいから始める。最初から100件を目指すと止まります。
- 実際に使う人が聞きそうな質問を入れる。自分で考えた質問だけだと、本番とずれやすいです。
- 「文書に答えがない質問」も混ぜる。ちゃんと「分かりません」と答えられるかを見るためです。
型番を含む質問、表の数値を聞く質問、複数の文書にまたがる質問なども入れておくと、弱点が見つかりやすいです。
LLMに質問の候補を作ってもらって、人間が直す方法もあります。全部を手で書くよりずっと楽でした。
何を測るか:検索と回答を分けて見る
RAGは、大きく「検索」と「回答生成」の2段階です。どちらが悪いのかを切り分けるために、指標も分けて考えます。
検索の指標
- Hit率(Recall@k): 上位k件のチャンクの中に、正解の文書が入っているか
- MRR: 正解の文書が何位で出てきたか(1位なら1、2位なら0.5、…の平均)
回答の指標(Ragasなど)
Ragasというライブラリを使うと、LLMを審査役にして、次のような指標を自動で出せます。
- Faithfulness: 回答が、取得した文書の内容に基づいているか(でっち上げていないか)
- Answer relevancy: 質問にちゃんと答えているか
- Context precision: 取得したチャンクのうち、役に立つものの割合
- Context recall: 答えに必要な情報を取りこぼしていないか
ここで大事なのは、検索が取れていないのにプロンプトを直しても改善しないということです。まず検索の指標を見て、正解の文書が取れているかを確認します。そのあとで、回答の品質を見る流れがおすすめです。
改善サイクルの回し方
流れはこんな感じです。
評価データを作る
↓
今の構成で測る(これがベースライン)
↓
改善の仮説を立てる(例:チャンクが大きすぎるのでは?)
↓
1つだけ変更する
↓
同じデータで再評価
↓
良くなったら採用、悪くなったら戻す
↓
繰り返し
コツは一度に1つだけ変えることです。チャンクサイズとリランクを同時に変えると、どちらが効いたのか分からなくなります。
結果は、表にして記録しておくと見返せて便利です(以下の数値はイメージです)。
| 構成 | Hit率@5 | MRR |
|---|---|---|
| ベースライン(チャンク500) | 0.70 | 0.52 |
| チャンク800に変更 | 0.76 | 0.58 |
| リランク追加 | 0.84 | 0.71 |
こうやって見ると、「リランクが一番効いた」と言えるようになります。
運用に入ってからの改善
作って終わりではなく、運用が始まってからが本番です。
- 実際の質問と回答、使われたチャンクをログに残す(Langfuseのようなツールが使えます)
- 「役に立たなかった」と評価された質問や、「分かりません」になった質問を集める
- 原因を分類する(文書自体にない/検索で取れていない/チャンクの切り方が悪い/プロンプトの問題、など)
- その質問を評価データセットに追加する
こうすると、評価データが現場の実態に近づいていきます。文書を追加したりモデルを変えたりしたときに、前より悪くなっていないかのチェックにも使えます。
最初の一歩:検索のHit率を計算してみる
いきなりRagasを入れなくても、検索の精度だけならPythonで簡単に測れます。
まず、評価データをCSVで用意します。
question,expected_doc
〇〇の検査頻度は?,検査手順書.pdf
△△の許容値は?,品質基準.pdf
次に、質問を検索して、上位k件の文書名を返す関数を用意します。ここは使っているツールによって書き方が変わります。Difyの場合、ナレッジの検索APIが用意されているので、それを呼ぶ形になります(エンドポイントやレスポンスの形式は、必ず公式ドキュメントで確認してください)。
import csv
def search(question: str, k: int = 5) -> list[str]:
"""質問を検索して、上位k件の文書名のリストを返す。
Difyのナレッジ検索APIなどを呼び出す処理をここに書く。"""
raise NotImplementedError
def evaluate(path: str, k: int = 5):
hits = 0
rr_sum = 0.0 # MRR用
total = 0
with open(path, encoding="utf-8") as f:
for row in csv.DictReader(f):
results = search(row["question"], k)
total += 1
if row["expected_doc"] in results:
hits += 1
rank = results.index(row["expected_doc"]) + 1
rr_sum += 1 / rank
print(f"Hit率@{k}: {hits / total:.2f}")
print(f"MRR: {rr_sum / total:.2f}")
evaluate("eval.csv", k=5)
これだけで、「チャンクサイズを変えたらHit率が0.70から0.76になった」のように、変更の効果を確認できます。最初はこれで十分だと思います。慣れてきたら、Ragasで回答の品質まで見てみると、見える範囲が広がります。
やってみて感じたこと
- 評価データ作りが一番大変ですが、一番効果があります。
- 評価の仕組みがあると、調整が「作業」になって、迷いが減ります。
- 検索が取れているかを先に見るだけで、無駄なプロンプト調整が減ります。
まだ勉強中の部分も多いので、「こういう指標もあるよ」「ここは違うよ」といったご指摘があれば、コメントでぜひ教えてください。
まとめ
- RAGの改善は、感覚ではなく数字で判断できるようにする
- まず30〜50件の質問と正解のペアを作る
- 検索(Hit率、MRRなど)と回答(Faithfulnessなど)を分けて測る
- 変更は一度に1つだけ。結果を表に残す
- 運用ログから評価データを増やして、サイクルを回す