0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

ハルシネーション判定を few-shot で強くする — 人手アノテーション付き実例をjudgeに渡すFaithJudgeを読んでみた

0
Posted at

ハルシネーション判定を few-shot で強くする — 人手アノテーション付き実例をjudgeに渡すFaithJudgeを読んでみた

1. はじめに

1.1 論文を読んだ理由

RAGを扱っていると、「この回答は検索してきた文脈に忠実か?」をどう判定するのかが気になってきます。RAGASやdeepevalのfaithfulnessメトリクスを使えば数字自体は出ますが、その数字はどのくらい信用できるのか。そんな疑問から、ハルシネーション判定手法に関する論文を読んでみました。

論文リンクです。

1.2 読む前に押さえておきたい、この論文の立ち位置

先に断っておくと、この論文のゴールは LLMごとのハルシネーション耐性を正確に測ること(ランキング、リーダーボードの構築)です。検索を含めたRAGシステム全体の性能を測る論文ではありません。

そして、そのランキングを人手ではなく自動で付けるために 判定器そのものの精度を上げる というのが、提案手法である FaithJudge の役割になります。この記事で登場する数字の多くは判定器の精度ですが、それは目的ではなく、ランキングを信用できるものにするための土台として測られています。

この目的と手段の関係は後の章(2.3)で改めて整理します。

1.3 この記事で扱うこと

  • RAGのどこでハルシネーションが起きるのか、そのうち本論文が対象とするのはどこか
  • 現代のLLMが起こすハルシネーションがどれくらい巧妙か(具体例)
  • 既存のハルシネーション検出手法(fine-tuned検出器 / ゼロショットLLM-as-a-Judge)が抱える課題
  • 提案手法 FaithJudge:同じ記事に対する他モデルの採点済み回答をfew-shot例としてjudgeに渡すという手法
  • 実験設計の読み方(どのデータセットで何を測っているのか)

2. RAGのどこでハルシネーションが起きるのか

本題に入る前に、「RAGのハルシネーション」と一口に言っても発生箇所がいくつかあるので、整理しておきます。

2.1 RAGの処理フローと失敗箇所

RAGは大まかに「クエリ → 検索 → 文脈 → LLMが生成 → 回答」という流れです。このうち、事実と異なる回答が返ってくる原因は大きく2箇所に分かれます。

失敗①(検索起因) は、そもそもLLMに渡す材料が間違っているケースです。これはretrieverの性能問題なので、context precision / recall といった検索側のメトリクスで測ります。

失敗②(生成起因) は、材料は正しく渡っているのにLLMが勝手なことを書くケースです。冒頭で触れた「reportedly(〜と報告されている)を落として断定に変える」ような改変がこれにあたります。こちらが一般に faithfulness(文脈への忠実性) と呼ばれる軸です。

2.2 本論文が対象とするのは「失敗②」だけ

今回の論文が扱うのは、失敗②のみです。

本論文の扱い
検索の精度(失敗①) 対象外。文脈は最初から与えられたものとして固定される
生成の文脈忠実性(失敗②) これを測る
回答の有用性・網羅性 対象外。論文のLimitationsでも「faithfulnessとは直交する問題」と明記

2.3 論文のゴールは「LLMごとのfaithfulness耐性を正確に測ること」

もう一段はっきりさせておきたいのが、この論文のゴールです。論文タイトルは "Benchmarking LLM Faithfulness in RAG with Evolving Leaderboards" で、ゴールは LLMごとのハルシネーション耐性を正確にランキングすること、つまりリーダーボードの構築にあります。

ここで問題になるのが、そのランキングをどうやって付けるのかという点です。膨大な回答を人手で採点し続けるのは現実的ではないので、自動の判定器を使うことになります。ところが既存の判定器は精度が低く、判定器が間違えばランキングそのものが信用できなくなります。

つまりこの論文は、

  • ゴール:LLMのfaithfulness耐性を正確に測る(リーダーボード)
  • そのための手段:判定器の精度を上げる(FaithJudge)
  • 手段が機能したかの確認:判定器と人間の一致率(この記事で扱う数字の多くはこれ)

という構造になっています。この記事で登場する「68.8% → 84.0%」といった数字は判定器の精度ですが、それ自体が目的なのではなく、ランキングを信用できるものにするための土台 として測られている、と捉えると全体の流れが掴みやすいと思います。

なお、ここで測られるのは LLM単体の耐性 であって、検索を含むRAGシステム全体の性能ではありません。「どのモデルを使えば文脈から逸脱しにくいか」を選ぶための情報だと考えると、実務での使いどころが見えやすいかと思います。

3. そもそもハルシネーション検知は何が難しいのか

3.1 現代のLLMのハルシネーションは、驚くほど細かい

「ハルシネーション」と聞くと、存在しない論文を捏造したり、事実無根の人物を登場させたりといった派手な誤りを想像しがちです。しかし、文脈を与えられた状態(RAGや要約)で現代のLLMが起こすハルシネーションは、そういうものばかりではありません。

論文のAppendixに載っている実例を見てみます。題材は、中国・福建省の化学工場で起きた爆発事故を報じたCNNの記事です。

例1:修飾語を1つ落として断定に変えてしまう

ソース記事には、工場が製造しているパラキシレン(PX)について reportedly carcinogenic(発がん性が報告されている)と書かれています。これに対する Grok-3 の要約がこちらです。

記述
ソース記事 a reportedly carcinogenic chemical
(発がん性があると報告されている化学物質)
Grok-3の要約 a carcinogenic chemical
(発がん性のある化学物質)

reportedly という一語が消えただけです。しかし、これによって「そう報告されている」という伝聞が「発がん性がある」という断定に変わってしまいました。論文はさらに丁寧で、パラキシレンについてヒトや動物での発がん性を示す十分な証拠はないという医学文献を引いた上で、この削除が実際に意味を変える改変であることを示しています。

例2:「予定されていた」が「移転された」にすり替わる

同じ記事に対する Gemini-2.5-Pro の要約です。

記述
ソース記事 the zhangzhou plant was slated for xiamen … prompted the local government to relocate the factory
(工場は当初アモイに建設が予定されていたが、2007年の住民の反発で現在の場所に計画が変更された)
Gemini-2.5-Proの要約 was relocated to its current location from Xiamen in 2007
(2007年にアモイから現在の場所に移転された)

「予定地が変更された」が「実在した工場が移転した」にすり替わっています。工場が実際にアモイに存在していて、それが物理的に移転したかのような記述です。

この要約、実は他の部分はほぼ完璧です。負傷者数、ガラス片による怪我、オイル漏れ、600人超の消防士、2013年の前回の事故 — すべて正確に反映されています。最後の一文だけが落とし穴でした。

3.2 なぜ検出が難しいのか

上の2例に共通するのは、次の性質です。

  • 語彙的にはソースとほぼ一致している。単語の差は1〜2語程度
  • 要約全体の印象は正しい。事実関係の骨格は合っている
  • それでも 情報の意味は変わっている

つまり、「ソースと似ているかどうか」で判定しようとすると通過してしまい、「全体として正しそうか」で判定しようとしても通過してしまう。この2つをすり抜けてしまう点が、検出の難しさの本質です。

しかも例2は、後の章で出てくるリーダーボードで最もハルシネーションが少ないモデル(gemini-2.5-pro)の出力です。モデルが優秀になるほど、残るハルシネーションは巧妙になっていく という構図があります。

3.3 ラベルは白黒だけではない

もう一点、この分野を難しくしている要素があります。ハルシネーションは「あり / なし」の2値では割り切れないという点です。

本論文が使う FaithBench というデータセットでは、人手アノテーションが4種類のラベルで付けられています。

ラベル 意味
Unwanted 文脈と矛盾する、または根拠のない情報。いわゆる「悪い」ハルシネーション
Benign 文脈にはないが、世界知識としては正しい情報
Questionable どちらとも判断しづらいもの
Consistent 問題なし

厄介なのが Benign です。たとえば要約が「東京は日本の首都である」と書き足したとして、それがソース記事に書かれていなければ根拠のない追加ではありますが、内容としては正しい。これをハルシネーションとして弾くべきかどうかは、用途によって判断が変わります。

論文でも、この Benign と Questionable の扱いは終始悩ましいものとして登場します。人間のアノテーター同士でも判断が割れるカテゴリ であり、後述する提案手法でも安定して分類できないことが示されます(この点は 6章 で改めて扱います)。

次の章では、こうした難しさに対して、既存の手法がどこまで通用していたのかを見ていきます。

4. 既存の手法はどこまで通用していたのか

前章のような細かい改変を、機械的に検出できるのか。従来のハルシネーション検出は大きく2系統に分かれます。

系統1:専用検出モデル 系統2:ゼロショット LLM-as-a-Judge
代表例 HHEM、AlignScore、MiniCheck GPT-4o、o3-mini-high
判定基準の教え方 学習データを通じて プロンプトの指示文を通じて
追加学習 必要 不要

それぞれ見ていきます。

4.1 系統1:ファインチューニングした専用検出モデル

HHEM(Vectara自身のモデル)、AlignScore、MiniCheck、TrueTeacher といった、「文脈と要約のペアを入力すると一貫性を判定する」専用モデルの系譜です。もともとは自然言語推論(NLI)、つまり「文Aから文Bが導けるか」を判定するタスクの技術がベースになっています。

動作イメージを、前章のパラキシレンの例で示します(スコア値は説明用の模式例です)。

入力:
  ソース: "...a reportedly carcinogenic chemical..."
  要約:   "...a carcinogenic chemical..."

処理(claim単位の場合): 要約を個別のclaimに分解して1つずつ照合
  claim 1: 爆発で6人が負傷した           → ソースと整合 ✓
  claim 2: 消防士600人超が消火にあたった  → ソースと整合 ✓
  claim 3: PXは発がん性のある化学物質     → ここを弾けるかが勝負

出力: 一貫性スコア 0.82 → 閾値以上なので "Consistent"(見逃し)

失敗の構造は明快です。この要約はソースと 語彙的にほぼ一致 していて、違いは reportedly の有無だけ。意味的な近さを測るように学習されたモデルにとって、これほど表層が似ているペアに低いスコアを付けるのは苦手な部類に入ります。

加えて、この系統には構造的な課題もあります。

課題 内容
学習データの世代ギャップ 初期のベンチマーク(SummaC、AggreFactなど)はChatGPT以前のfine-tuned T5 / BART / PEGASUSの要約が対象。現代LLMの巧妙なハルシネーションをカバーできていない
学習データの不足 大規模な人手アノテーションデータが乏しく、NLIタスクからの転用やGPT-4による合成データ(MiniCheck)で凌いできた
適応コスト 新しいドメインやタスクに対応するには再学習が必要

4.2 系統2:ゼロショットの LLM-as-a-Judge

GPT-4o のような強力なLLMに、プロンプトだけで「この要約は文脈に忠実か?」を判定させる方式です。

論文では3種類のプロンプトが比較されています。

  • RAGASプロンプト:要約をclaimのリストに分解してから、1つずつ検証する
  • FACTS Groundingプロンプト:JSON形式で出力させる。先行研究でGPT-4oに最も効果的だったもの
  • Luo et al. のプロンプト:Chain-of-Thoughtで理由を書かせながら判定する

プロンプトの骨格と、ありがちな失敗はこんな形です(こちらも模式例)。

[プロンプト]
あなたは要約の事実整合性を評価する専門家です。
以下のソース記事と要約を読み、要約がソースに忠実か判定してください。
ソースに根拠のない情報・矛盾・歪曲があれば Inconsistent とします。

ソース: (記事全文)
要約:   (評価対象の要約)

[ありがちな出力]
要約は爆発の負傷者数、消火活動、2013年の事故、移転の経緯など
記事の主要な事実を正確に反映している。
→ 判定: Consistent(見逃し)

judgeは「忠実かどうか」という抽象的な基準こそ与えられていますが、この記事のどこに罠があるか — reportedly の有無が争点になること — は知りません。要約全体の印象が正しければ、一語レベルの改変は素通りしてしまいます。

「どこまでが許容される言い換えで、どこからが改変なのか」という境界を、指示文だけで伝えきれない。ここが系統2の根本的な課題です。

4.3 数字で見る「頭打ち」

論文では、この2系統を4つのデータセットで横断評価しています(Table 1)。データセットの詳細は後の章で扱いますが、ここでは前章のような巧妙なケースを集めた FaithBench での結果に注目します。

手法 種別 Balanced Accuracy
HHEM-2.1-open(110M) 専用検出モデル 52.6% ※
Bespoke-MiniCheck(7B) 専用検出モデル 55.7%
GPT-4o + FACTS Grounding ゼロショット 65.9%
o3-mini-high + FACTS Grounding ゼロショット 68.8%(最良)

※ HHEMはFaithBenchの記事選定にも使われたモデルのため、このデータセットでは不利になるバイアスがあります(論文中でもアスタリスクで注記されています)

読み取れることを整理すると:

  • ゼロショットで最良の o3-mini-high でも 68.8%。4データセットの平均で見ても balanced accuracy は78%未満、F1-macroは72%未満にとどまる
  • FaithBench の元論文では、既存手法の多くが accuracy 約50%、つまりほぼコイン投げ と報告されている
  • 一方で、わずか110MパラメータのHHEMがclaim単位の判定では複数の大型LLMを上回るなど、「大きいモデルを使えば解決する」わけでもない

4.4 課題を一言でまとめると

系統1は学習を通じて、系統2はプロンプトを通じて、それぞれ「何がハルシネーションか」をモデルに教えようとしてきました。しかしどちらも、前章で見たような 一語レベルの改変を弾けるほど正確には基準を伝えられていなかった、というのがこの章の結論です。

判定基準そのものを、学習でもプロンプトでも十分に伝達できていなかった

次の章では、この「基準の伝え方」を変えることで精度を大きく改善した提案手法、FaithJudge を見ていきます。

5. 提案手法:FaithJudge

5.1 アイデア:基準を「言葉」ではなく「採点済みの実例」で伝える

前章の結論は、「判定基準そのものをうまく伝えられていなかった」というものでした。FaithJudge のアプローチは、この伝え方を変えることです。

ゼロショットの judge には、判定基準が 指示文 として与えられていました。FaithJudge はそこに、同じソースに対する他のLLMの回答と、それに付けられた人手アノテーション を追加します。

前章の系統2の図と比べると、違うのは入力の箱だけです。judgeのモデルも、追加学習の有無も変わりません。プロンプトに何を入れるかだけを変えている のがこの手法の要点です。

判定基準を言葉で定義するのがルーブリックだとすれば、こちらは 基準の実例化 と言えるアプローチです。

5.2 プロンプトに入れるアノテーションの中身

judgeに渡されるアノテーションには、次の情報が含まれます。

  • ハルシネーションが起きている スパン(該当箇所)
  • ソースのどこと矛盾・逸脱しているかの 参照
  • ラベル(Unwanted / Benign / Questionable)

イメージとしては、こういう「採点済み答案の束」がプロンプトに入ることになります。

[ソース記事]
(化学工場爆発のニュース記事 全文)

[他のLLMの回答と、その採点結果]
- GPT-4oの要約: "..."
    × スパン「...」= Unwanted:負傷者数がソースと異なる
- Claudeの要約: "..."
    〇 ハルシネーションなし: Consistent
- Llamaの要約: "..."
    × スパン「carcinogenic」= Unwanted:"reportedly" が削除され断定になっている
- (... 他6モデル分)

[評価対象]
Grok-3の要約: "..."
→ この要約を判定してください

ここが効いてくるポイントです。judgeは「忠実性とは何か」という一般論ではなく、この記事では reportedly の有無が争点になる、アモイへの言及で予定地と移転を混同しやすい という、ソース固有の落とし穴 を実例から知った状態で判定に臨めます。

なお、実例として渡す回答からは Benign や Questionable のラベルが付いたものも除外しません。採点の正解としては曖昧でも、UnwantedとBenignの線引きをjudgeに教える教材 としては有益だからです。

5.3 実際の判定例

論文のAppendix(Figure 3)には、3章で見た Grok-3 の要約に対する FaithJudge の判定文が載っています。内容を要約すると、次の3点をスパン単位で指摘した上で Inconsistent と結論しています。

# 指摘内容 型
① PXを「発がん性が報告されている」ではなく「発がん性のある」と記述し、確度のレベルを変えている 修飾語の削除による断定化
② 「アモイから移転した」と述べているが、ソースは「当初アモイに建設が予定されていた」としている 事実関係のすり替え
③ 2013年の爆発を「死傷者や漏出はなかった」と断定しているが、ソースは「報告がなかった」としている 修飾語の削除による断定化

ゼロショットでは素通りしてしまっていた一語レベルの改変が、きちんと拾えています。しかも ① と ③ は同じ型(確度を示す修飾の削除)で、これは実例アノテーションで示されていた落とし穴のパターンと対応しています。

出力形式も実務的で、「合っている点をまず列挙 → 問題箇所を特定 → なぜ問題かを説明 → 最終判定」という構造になっています。判定結果をそのままエラー分析に流用できる形です。

5.4 どれくらい精度が上がったのか

FaithBench(要約)で人手ラベルとの一致を測った結果です。

手法 Balanced Accuracy F1-Macro
ゼロショット最良(o3-mini-high + FACTS Grounding) 68.8% 60.7%
FaithJudge(o3-mini-high) 84.0%(+15.2) 82.1%(+21.4)

balanced accuracy で約15ポイント、F1で約21ポイントの改善です。プロンプトに実例を入れただけで、追加学習は一切していません。

judgeのモデル自体も6種類(Qwen-2.5の7B/72B、Llama-3.1 8B、Llama-3.3 70B、GPT-4o、o3-mini-high)が比較されており、o3-mini-high が最良 でした。3モデルの多数決アンサンブルも試されていますが、o3-mini-high 単体には及ばなかったため、これが標準のjudgeとして採用されています。

なお、この検証は leave-one-out で行われています。FaithBenchは1記事につき10モデル分の注釈付き要約を持つので、9個を実例として渡し、残り1個を判定させて人手ラベルと突き合わせる、という方式です(詳しくは次章で扱います)。

5.5 実例は多いほど効く

論文のFigure 2では、プロンプトに入れる実例の数を変えたときの挙動が示されています。

image.png

  • sensitivity(ハルシネーションを見逃さない度合い):実例が増えるほど着実に向上する
  • specificity(問題ない要約を誤って弾かない度合い):一貫して高いまま維持される

つまり、実例を増やしても誤検出が増えることはなく、見逃しだけが減っていきます。実例が判定基準の伝達手段として機能している ことの、直接的な証拠と言えます。

裏を返せば、実例が少ないうちは見逃しが多いということでもあります。実際、FaithJudge には全体としてハルシネーションを 過少に検出する傾向 があることも報告されています。

5.6 要約以外のタスクでも効くのか

FaithBench は要約だけのデータセットなので、論文では RAGTruth を使って QA と data-to-text(店舗のJSONデータから紹介文を書くタスク)にも手法を拡張しています。

タスク ゼロショット F1 FaithJudge F1
RAGTruth Data-to-text 77.1 86.3
RAGTruth QA 76.9 83.4
RAGTruth 要約 73.6 80.2
FaithBench 要約 54.3 70.8

いずれのタスクでも FaithJudge が上回っています。要約に限らず、RAGのQAのような「本来のRAGらしいタスク」でも有効 であることが確認された形です。

※ この表のFaithBenchの数字(54.3 → 70.8)が 5.4 の数字と異なるのは、評価に含めるラベルの範囲が違うためです。この点は次章で整理します。

6. 実験設計を読み解く

この論文の表は、使っているデータセットとラベルの扱いが表ごとに少しずつ違います。数字だけを追うと混乱するので、ここで整理しておきます。

6.1 4つのデータセット

Table 1(既存手法の横断評価)で使われるのは、次の4つです。いずれも人手ラベル付きの要約データですが、世代と難易度が意図的にバラけています。

データセット 要約の生成元 特徴
AggreFact-SOTA fine-tuned T5 / BART / PEGASUS ChatGPT以前の旧世代。複数のリソースを統合しラベルを標準化したもの
RAGTruth-Summ GPT-3.5、GPT-4、Llama-2(7B/13B/70B)、Mistral-7B 現代LLM 6種。RAGTruth全体にはQAとdata-to-textもある
TofuEval-MeetingBank GPT-3.5-Turbo、Vicuna、WizardLM など 会議の書き起こしを対象としたトピック指定要約
FaithBench GPT-4o、Claude-3.5-Sonnet、Gemini-1.5-Flash、Llama-3.1 など10種 既存の検出モデル同士で判定が最も割れた記事だけを75本選んだ、敵対的な設計

4章で見た「FaithBenchだけスコアが極端に低い」現象は、この最後の設計によるものです。検出が難しいケースを狙って集めているので、当然といえば当然の結果です。

6.2 Table 2・3 が FaithBench 専用な理由

一方、FaithJudge 自体の検証(Table 2・3)は FaithBench のみで行われています。

理由は、FaithJudge の検証には 同じソースに対する複数モデルの注釈付き回答 が必要で、その構造を持つのが FaithBench だけだからです。FaithBench は1記事につき10モデル分の要約に人手アノテーションが付いています。

この構造を使って、次のように検証します。

これが 5.4 で触れた leave-one-out です。判定対象の要約のアノテーションまで実例に含めてしまうと答えを見せることになるので、それを隠した状態で判定させます。

補足すると、この leave-one-out は「手持ちの注釈付きデータの内側で判定器の精度を測る」ための検証プロトコルです。実際の運用ではこの手順は登場しません。新しいモデルを評価するときは、そのモデルの回答に注釈は存在しないので、収録済みの全モデルの注釈を実例に使い、新モデルの回答を判定するだけです。

場面 実例として渡すもの 判定対象
手法の精度検証(Table 2・3) 同じ記事の他9モデルの注釈付き要約 残り1モデル(leave-one-out)
実運用のリーダーボード 収録済み全モデルの注釈付き回答 新しいLLMの回答(注釈なし)

6.3 Benign と Questionable をどう扱っているか

3.3 で触れた4つのラベルのうち、Benign と Questionable の扱いが表ごとに変わります。ここが数字の食い違いの原因です。

場面 Benign / Questionable の扱い
プロンプトに入れる実例(9個の側) 含める(境界を教える教材になるため)
Table 2 のスコア計算(判定される1個の側) 除外(正解が曖昧すぎるため)
Table 3 の混同行列 全ラベルを行として保持し、除外領域での挙動を開示
Table 4 の設定 除外せず、Inconsistent 側に倒してバイナリ化

注意点として、除外の基準は judgeの出力ではなく人手の正解ラベル です。判定対象の要約に人間が Benign / Questionable と付けていた場合、その要約を採点対象から外す、という意味になります。

そして 5.4 と 5.6 で FaithBench の数字が違っていたのは、この表の2行目と4行目の差です。

ラベルの扱い Balanced Accuracy F1-Macro
Table 2 Benign / Questionable を除外 84.0% 82.1%
Table 4 Benign / Questionable を Inconsistent 扱い 77.6% 70.8%

同じデータ、同じjudgeでも、グレーゾーンを含めるかどうかで7ポイント前後違います。84.0% は「白黒がはっきりしたケースでの判定力」、77.6% は「グレーゾーン込みの運用条件での実力」 と読み分けるのが正確です。

6.4 Table 3:グレーゾーンで何が起きているか

除外された Benign / Questionable で judge が実際どう振る舞うのかを開示したのが Table 3 の混同行列です。行が人手ラベル、列がFaithJudgeの判定で、各セルは件数です。

バイナリ分類の場合

人手ラベル Consistent と判定 Inconsistent と判定
Unwanted 74 322
Questionable 29 38
Benign 50 34
Consistent 176 27

行ごとに読むと、次のことが分かります。

  • Unwanted:396件中322件(約81%)を正しく検出。ただし74件は見逃している(5.5 で触れた過少検出の実体)
  • Consistent:203件中176件(約87%)を正しく通過させている。誤って弾いたのは27件だけ
  • Benign:50対34でほぼ二分。judgeは「内容として正しいならOK」の方向に引っ張られている
  • Questionable:29対38でほぼコイン投げ。ただし人間同士でも判断が割れるカテゴリなので、論文も想定通りとしている

つまり、誤検出は少なく、見逃し側に偏った判定器 だということが読み取れます。

3値分類の場合

judgeに Benign というラベルも使わせてみた結果がこちらです。

人手ラベル Consistent Benign Unwanted
Unwanted 84 18 294
Questionable 28 13 26
Benign 51 10 23
Consistent 179 4 20

人間が Benign と付けた84件のうち、judgeが Benign と当てられたのは わずか10件。Benign列全体を見ても数字が小さく、そもそもこのラベルをほとんど使えていません。

この結果から、論文は FaithJudge をバイナリ分類に限定して運用する という判断をしています。Table 3 は、都合の悪いケースを黙って除外するのではなく、除外した領域の挙動をきちんと開示している表、という位置づけです。

6.5 Figure 1:モデル別の傾向は再現できているか

最後に Figure 1 に触れておきます。この図は、評価対象の10モデルそれぞれについて、棒を2本ずつ並べたものです。

image.png

  • 左の棒:人手アノテーションの内訳(Unwanted / Questionable / Benign / Consistent の4色)
  • 右の棒:FaithJudge の予測の内訳(Hallucinated / Consistent の2色)

左が4分類、右が2分類なので厳密な1対1対応はありませんが、左の赤(Unwanted)と右の赤(Hallucinated)の高さが揃っていれば、judgeが人間の判定傾向を再現できている と読みます。

読み取れることは2つです。

  1. GPT-4o は赤が小さく、右に行くほど赤が増えて Mistral-7B で最大になる、という モデル間の勾配が左右で概ね一致している。ランキング用途としては機能している
  2. Command-R、Mistral、Qwen では右の赤が左より明確に小さい。つまり ハルシネーションの多いモデルほど、judge が一部を見逃している

2 は 5.5 と 6.4 で見た過少検出の傾向と一致します。この図は精度そのものを示す図(それは Table 2 の役割)ではなく、リーダーボードのツールとして使ったときに、集計レベルでどうズレるか を示す診断図だと捉えると位置づけがはっきりします。

7. 補足:なぜ「要約」タスクで評価しているのか

ここまで読むと、疑問が湧いてくるかもしれません。RAGのハルシネーションを扱う論文なのに、評価の中心が要約タスクになっているのはなぜか、という点です。

7.1 論文の主張は控えめ

論文が述べているのは、「要約は faithfulness 評価の 実用的なベンチマークになる」ということです。理由は、人手アノテーション付きのデータセット(SummaC、AggreFact、TofuEval、RAGTruth、FaithBench)と自動評価手法の蓄積が要約に集中しているから、という実利的なものです。

つまり「RAGの出力は要約である」とか「検索が完璧ならRAGは要約に帰着する」といった主張はしていません。

その証拠に、論文は5.6で触れたように QA と data-to-text を 要約とは別のタスクとして 追加検証しています。「要約で開発した手法が他のRAGタスクにも一般化するか」を、検証が必要な主張として扱っている構成です。

7.2 共有されているのは「タスク」ではなく「検証操作」

では要約とRAGは何を共有しているのか。faithfulness の検証がやっていることを抽象化すると、タスクが何であれ次の操作に行き着きます。

与えられた文脈Cと生成文Yを突き合わせ、Yの各記述がCに根拠を持つか(追加・改変・矛盾がないか)を判定する

この操作にとって、Yが要約なのか回答なのか紹介文なのかは入口の違いにすぎません。だからこそ要約向けに作られたアノテーションや手法がQAにも転用でき、実際に5.6の表でそれが成立していた、という構図になります。

7.3 ただしタスク自体は別物

一方で、検証操作が同じでも生成の性質は異なるため、逸脱の起きやすいパターンはタスク固有 です。

要約 RAG QA
生成の性質 文書全体を網羅的に圧縮する 文脈から関連箇所を選択し、必要なら推論する
文脈の使い方 ほぼ全ての情報が「使うべき情報」 大半は「使わなくてよい情報」
典型的な逸脱 圧縮の過程での改変(3章で見た断定化やすり替え) 無関係な箇所からの誤った引用、文脈にない推論の混入、事前知識による補完

FaithJudge がソースごとの実例を必要とするのは、まさにこの「逸脱の分布」が抽象的な基準文では伝わらないからでした。

7.4 共有されない軸もある

RAG評価には faithfulness 以外にも、answer relevancy(質問に答えているか)、completeness(必要な情報を使い切ったか)、context precision / recall(検索の精度)といった軸があります。

要約の資産が転用できるのは faithfulness だけ で、relevancy や completeness には要約タスク上の対応物がほぼありません。論文が Limitations で「回答の品質や有用性は評価しておらず、faithfulness とは直交する問題」と明示的に切っているのは、この線引きの表明です。

まとめると、次のようになります。

要約はRAGの faithfulness という評価軸(= 検証操作)を共有する隣接タスク。アノテーション資産が豊富なため、評価手法の開発と検証の場として使われた。ただし要約とRAGの出力が同じものというわけではないため、QA や data-to-text への一般化は別途検証されており、faithfulness 以外の評価軸はこの論文のスコープ外。

8. この手法の限界

論文の Limitations と、実務で使うことを考えたときに引っかかる点を整理します。

8.1 ソースごとに人手アノテーションが必要

最大の制約はこれです。FaithJudge は「同じソースに対する採点済みの回答」を前提とするため、新しい記事や新しい質問で評価したければ、そのソースに対する複数モデルの回答を人手で採点しておく必要があります。いわゆるコールドスタート問題です。

ただ、コスト構造を見ると印象が変わります。

コストのかかり方
毎回人手で評価 評価するたびにコストが発生(変動費)
FaithJudge 最初に1回アノテーションすれば、以降の新モデル評価は自動(固定費)

Vectara のリーダーボードがまさにこの構造で、FaithBench 75記事 + RAGTruth の各タスク150ソース程度という一度きりの投資で、その後は新しいLLMが出るたびに自動で評価できる ようになっています。評価対象が増えるほど1回あたりのコストは薄まっていきます。

逆に言えば、評価セットを繰り返し使い回す運用でなければ元が取れません。単発の評価や、毎回新しい質問が流れてくるオンライン評価には向いていない手法です。

補足すると、5.5 で見たように specificity は実例1個の時点から高く、sensitivity も実例数に応じて改善していきます。フルにアノテーションしなくても、数個の実例でゼロショットよりは良くなる ので、予算に応じて段階的に投資できる余地はあります。

8.2 Benign の判定が苦手

6.4 で見た通りです。「文脈にはないが世界知識としては正しい」情報を、judge は Consistent 側に寄せて判定しがちで、3値分類ではほぼ機能しませんでした。そのため運用はバイナリ分類に限定されています。

もっとも、これは判定器だけの問題ではありません。人間のアノテーター同士でも一致率が低いカテゴリであり、そもそも正解が定まりにくい領域 です。

8.3 ハルシネーションを過少に検出する傾向

これも 5.5 と 6.4、そして 6.5 の Figure 1 で繰り返し出てきた点です。FaithJudge でも、人間が Unwanted と判定した396件のうち74件は見逃していました。特に Command-R、Mistral、Qwen のようなハルシネーションが多いモデルで、見逃しが目立ちます。

実例数を増やせば改善する方向ではありますが、「検出されなかった = ハルシネーションがない」とは言い切れない ことは念頭に置く必要があります。

8.4 faithfulness しか測っていない

7.4 で触れた通り、この論文が測るのは文脈への忠実性だけです。回答の品質や有用性、質問にきちんと答えているかどうかは対象外です。

論文自身が挙げている極端な例が分かりやすくて、記事をそのまま丸ごとコピーする要約器を作れば、ハルシネーション率はゼロになります。要約として役に立たなくても、この評価軸では満点が取れてしまう。

著者らはこれを認めた上で、「それでも現代のLLMにハルシネーションは根強く残っているので、ベンチマークとして有望である」という立場を取っています。実務でリーダーボードを参考にする際は、faithfulness のランキングであって総合的な性能のランキングではない ことを踏まえておく必要があります。

8.5 judge モデル自体の限界とバイアス

標準judgeの o3-mini-high でも人手ラベルとの一致は 84.0% であり、完璧ではありません。論文も「今後より優れたLLMが登場したら judge を差し替えたい」と述べています。

judge のバイアスについては Appendix B で検証されていて、興味深い結果が出ています。gemini-2.0-flash を judge にすると自分自身を1位に置く一方、o3-mini-high と llama-4-maverick はどちらも gemini-2.0-flash を1位に置きました。自己優遇バイアスは限定的 と言えそうですが、複数judgeを使えばより頑健になるとしつつ、計算コストの都合で単一judgeを採用している、というのが現状です。

9. 感想

9.1 モデル選定の根拠として使えそう

読んでいて一番実務に近いと感じたのが、モデルごとにハルシネーションの出やすさが明確に違う という点です。

Figure 1 を見ると、同じ記事を要約させているにもかかわらず、Unwanted と判定された割合はモデルによってかなりの幅があります。しかもこれはパラメータ数の順に綺麗に並ぶわけではなく、Llama-3.1-70B が Gemini-1.5-Flash をわずかに上回るなど、サイズや知名度だけでは順位が決まりません。

一方で Table 7 のリーダーボード(より新しい世代のモデルを含む)では gemini-2.5-pro と gemini-2.0-flash が上位を占めており、世代が変わると順位も入れ替わります。裏を返せば、「このモデルは文脈に忠実」という評価は世代ごとに測り直す必要がある ということでもあります。

RAGを組むときのモデル選定は、どうしてもコストや速度、日本語性能あたりで決めがちですが、文脈への忠実性という軸で比較したランキングが公開されている のは有用だと感じました。

9.2 一語レベルの改変は、人間が読んでも見落とす

3章で見た reportedly の削除や「予定されていた → 移転された」のすり替えは、正直なところ、自分がレビューする側だったら見落とす自信があります。

要約全体を読むと事実関係は合っているように見えますし、元記事と並べて一語ずつ突き合わせるような読み方は、普通しません。検出が難しいのは機械にとってだけでなく、人間にとってもそうだ という点が印象に残りました。

そして、こういう改変は内容によっては実害があります。論文が挙げていた「発がん性が報告されている → 発がん性がある」は、医療や法務のような領域で起きたら普通に問題になる書き換えです。RAGの出力を人がレビューする運用にしていても、この種のハルシネーションは通過してしまう可能性が高いと感じました。

9.3 Benign の扱いが割れるのが面白い

個人的に一番面白かったのが、Benign(文脈にはないが、世界知識としては正しい情報)の扱いです。

これは「ハルシネーションかどうか」という問いが、実は用途に依存することを示しています。

  • 検索した文脈だけを根拠にすべき用途(社内規程の照会など)では、内容が正しくても文脈にない情報は弾きたい
  • 一般的な補足説明が歓迎される用途では、むしろ有用な情報になりうる

論文の中でも、Table 2 では除外、Table 4 では Inconsistent 扱い、実例としてはプロンプトに含める、と場面ごとに扱いが変わっていました。人間のアノテーター同士でも一致率が低く、judge もほとんど分類できていない。評価の設計者が「自分たちの用途ではどちら側なのか」を決めなければならない領域 として残っている、という構図です。

自分で評価を組むときも、faithfulness を測る前に「文脈外の正しい情報をどう扱うか」を先に決めておかないと、スコアの意味が定まらないのだろうと感じました。

9.4 まとめ

  • ハルシネーション検知は、判定器の側もまだ発展途上(ゼロショットでは FaithBench で 68.8%)
  • FaithJudge は、判定基準を指示文ではなく 採点済みの実例 として渡すことで 84.0% まで改善した
  • ただし ソースごとの人手アノテーション が前提なので、固定の評価セットを使い回す運用(リーダーボード、回帰テスト)向き
  • 測っているのは faithfulness だけであり、回答の有用性や検索精度は対象外

ここまで読んでいただきありがとうございます。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?