この記事の目的
RAGの精度評価を行うときにRAGASを利用しました。RAGASの主要な評価指標について調査結果をまとめます。公式ドキュメントに具体的な算出方法の記載がない指標もあったので、そのあたりを補完できるように書いていきたいと思います。
主要な評価指標
主要な評価指標は、以下の4つです。
- Faithfulness(忠実性)
- Answer Relevancy(回答関連性)
- Context Precision(コンテキスト精度)
- Context Recall(コンテキスト再現率)
Faithfulness(忠実性)
回答の中に書かれている事実や主張が実際に提供されたコンテキストに基づいているかを評価する指標。スコアは、0~1の値をとり、高いほど優れている。
公式は以下の通り。
$$
\text{Faithfulness} = \frac{\text{取得したコンテキストによって裏付けられている回答内のステートメントの数}}{\text{回答内のステートメントの総数}}
$$
評価のステップ
- 生成された回答を個々のステートメントに分解
- それぞれのステートメントについて、与えられたコンテキストから推論できるかを検証
- 上記の式でFaithfulnessを算出
例
質問: アルベルト・アインシュタインはどこでいつ生まれましたか?
コンテキスト: アルベルト・アインシュタイン(1879年3月14日生まれ)は、ドイツ生まれの理論物理学者であり、史上最も偉大で影響力のある科学者の一人と広く考えられている。
回答: アインシュタインは1879年3月20日にドイツで生まれた。
-
生成された回答を個々のステートメントに分解
ステートメント1: アインシュタインはドイツで生まれた。 ステートメント2: アインシュタインは1879年3月20日に生まれた。 -
それぞれのステートメントについて、与えられたコンテキストから推論できるかを検証
ステートメント1: Yes ステートメント2: No
$$
\text{Faithfulness} = \frac{1}{2} = 0.5
$$
Answer Relevancy(回答関連性)
生成された回答がユーザーの質問にどれだけ関連しているかを測る指標です。
スコアは、0~1の値をとり、高いほど優れている。
$$
\text{Answer Relevancy} =
\frac{1}{N}
\sum_{i=1}^{N}
\text{cosine_similarity}(E_{g_i}, E_o)
$$
$
E_{g_i} : \text{生成された質問の埋め込みベクトル}
$
$
E_o : \text{ユーザー入力の埋め込みベクトル}
$
$
N : \text{生成された質問の数(デフォルトは3)}
$
評価のステップ
- 回答の内容を基に複数の質問(例:3つ)を生成
- ユーザーの質問と1.で生成した複数の質問それぞれの類似度を計算し、平均をとる
例
質問: フランスはどこにありますか?また、その首都はどこですか?
関連性の低い回答: フランスは西ヨーロッパにあります。
関連性の高い回答: フランスは西ヨーロッパにあり、首都はパリです。
関連性の低い回答の場合。(フランスは西ヨーロッパにあります。)
※生成する質問は公式ドキュメントのものを利用。コサイン類似度は自作のスクリプトで計算。
-
回答の内容を基に複数の質問(例:3つ)を生成
- 質問1: フランスはヨーロッパのどの地域に位置していますか?
- 質問2: フランスはヨーロッパ内のどの地理的位置にありますか?
- 質問3: フランスが位置しているヨーロッパの地域を特定できますか?
-
ユーザーの質問と1.で生成した複数の質問それぞれの類似度を計算し、平均をとる
Answer Relevancy: 0.6078
関連性の高い回答の場合。(フランスは西ヨーロッパにあり、首都はパリです。)
※ChatGPTで質問を生成。コサイン類似度は自作のスクリプトで計算。
-
回答の内容を基に複数の質問(例:3つ)を生成
- 質問1: フランスはヨーロッパのどの位置にありますか?
- 質問2: パリを首都とする国はどこですか?
- 質問3: フランスの地理的位置と首都を教えてください
-
ユーザーの質問と1.で生成した複数の質問それぞれの類似度を計算し、平均をとる
Answer Relevancy: 0.6391
※数値はあくまで参考です。
Context Precision(コンテキスト精度)
検索されたコンテキストが質問に関連しているかを評価する。
スコアは、0~1の値をとり、高いほど優れている。
$$
\text{Context Precision@K}=
\frac{
\sum_{k=1}^{K} \left( \text{Precision@k} \cdot v_k \right)
}{
\sum_{k=1}^{K} v_k
}
$$
$$
\text{Precision@k}=
\frac{\text{TP@k}}{\text{TP@k} + \text{FP@k}}
$$
評価のステップ
- ランクkごとにPrecision@kを計算
- 1.の平均を計算
例
質問: エッフェル塔はどこにありますか?
正解: エッフェル塔はパリにあります。
取得されたコンテキスト(スコアが高い場合)
| 順位 | 内容 | 関連性 |
|---|---|---|
| 1 | エッフェル塔はパリにあります。 | ✅ Relevant |
| 2 | エッフェル塔は1889年に建設されました。 | ✅ Relevant |
| 3 | ベルリンのブランデンブルク門について。 | ❌ Irrelevant |
| 4 | ロンドンのビッグベンの説明。 | ❌ Irrelevant |
-
ランクkごとにPrecision@kを計算
k=1のとき
Relevant = 1
Precision@1 = 1/1 = 1.0k=2のとき
Relevant = 2
Precision@2 = 2/2 = 1.0k=3のとき
Relevant = 2
Precision@3 = 2/3 = 0.67k=4のとき
Relevant = 2
Precision@4 = 2/4 = 0.5
2. 1.の平均を計算 $$ \frac{\text{Precision@1} + \text{Precision@2}}{2}= \frac{1.0 + 1.0}{2}= 1.0 $$
取得されたコンテキスト(スコアが低い場合)
| 順位 | 内容 | 関連性 |
|---|---|---|
| 1 | ベルリンのブランデンブルク門について。 | ❌ |
| 2 | ロンドンのビッグベンの説明。 | ❌ |
| 3 | エッフェル塔は1889年に建設されました。 | ✅ |
| 4 | エッフェル塔はパリにあります。 | ✅ |
-
ランクkごとにPrecision@kを計算
k=3のとき
Relevant = 1
Precision@3 = 1/3 = 0.33k=4のとき
Relevant = 2
Precision@4 = 2/4 = 0.5
2. 1.の平均を計算 $$ \frac{\text{Precision@3} + \text{Precision@4}}{2} = \frac{0.33 + 0.5}{2} = 0.415 $$
Context Recall(コンテキスト再現率)
質問に答えるために必要な情報を取りこぼしていないかを評価する。
スコアは、0~1の値をとり、高いほど優れている。
$$
\mathrm{Context\ Recall}=
\frac{
\text{reference の中の主張で retrieval 結果からサポートされたものの数}
}{
\text{reference の主張の総数}
}
$$
評価ステップ
- 正解の文章を複数のステートメントに分解
- コンテキストと比較し、コンテキストによって裏付けられているステートメントを数え、上式でContext Recallを計算
例
質問: エッフェル塔はどこにありますか?
正解: エッフェル塔はパリにあり、1889年に建設された。
コンテキスト:
・パリはフランスの首都である。
・エッフェル塔はパリにある。
-
正解の文章を複数のステートメントに分解
- エッフェル塔はパリにある
- 1889年に建設された
-
コンテキストと比較し、コンテキストによって裏付けられているステートメントを数え、上式でContext Recallを計算
- エッフェル塔はパリにある→裏付けあり✔
- 1889年に建設された→裏付けなし✖
$$
\text{Context Recall}=
\frac{
1
}{
2
}=
0.5
$$