0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

RAGを使えばハルシネーションはなくなるの? AIに資料を作らせて、71件の指摘を潰してみた

0
Last updated at Posted at 2026-11-08

はじめに

「RAG(検索拡張生成)を使えば、AIのハルシネーションは防げる」という話をよく聞きます。

でも実際のところどうなの? と気になったので、実務で試してみました。

やったことはシンプルです。

  • AIに公開ドキュメントを読ませて、PowerPoint資料を2種類作ってもらう
  • 別のAIに原文と照らし合わせてレビューしてもらう
  • 指摘がゼロになるまで、修正とレビューをひたすら繰り返す

結論から言うと、RAGを使ってもハルシネーションはなくなりませんでした。ただ、誤りの「種類」はガラッと変わります。その様子をまとめてみます。

この記事でわかること

  • RAGで防げたハルシネーション/防げなかったハルシネーション
  • 誤りがどの段階で入り込んだか
  • AIレビューを回すときのコツと、その限界

題材:Microsoft 365 Education の新ポートフォリオ

題材は、Microsoft Learn の公開ページ「Microsoft 365 Education portfolio evolution」(2026年11月5日更新)です。

新しいラインナップは A0・A2・A3・A5・A7 の5つのライセンスプランで、数字が大きいほど機能が増えます(A0 は条件付きで無償の学生向けプラン、A7 が最上位)。

ここから、ITに詳しくない意思決定者向けの説明資料を2種類作りました。

資料 想定読者 最終枚数
教育委員会・自治体向け 教育長、教育委員会事務局、自治体の担当者 39枚
大学・学校法人の経営層向け 理事長、学長、事務局長など 31枚

デザインの条件(16:9、白背景、マイクロソフトのコーポレートカラー、余白の指定、インフォグラフィック中心、専門用語には説明を付ける、全スライドにスピーカーノート)も細かく指定しています。

作業の流れ(RAGとしての構成)

今回の作業を RAG の流れに当てはめると、こんな4段階になります。

① 取得:原文ページ(英語)を取ってくる
      ↓
② 要約:原文を日本語の「事実ファイル」にまとめて、作成担当に渡す
      ↓
③ 生成:作成担当のAIが、事実ファイルだけを根拠に資料を作る
      ↓
④ 検証:レビュー担当のAIが、原文を自分で取り直して照合する

ポイントは2つです。

  • 作成担当には「数値・日付を創作しない」「金額は載せない」(原文に金額がないため)と指示しました。
  • レビュー担当には「原文を正解の基準にする。日本語の要約は参考扱い」と指示しました。要約の段階で誤りが混ざっている可能性もチェックしたかったからです。

ちなみに、レビュー担当は毎回新しく立ち上げた別のAIにしています(中身は作成担当と同じ種類のAIです。同じAIに何度も見せると、前回の判断に引っ張られそうなので)。

結果:指摘件数の推移

回 教育委員会・自治体向け 大学・学校法人向け 主な内容
第1回 26件(高1・中8・低17) 21件(高1・中7・低13) 製品名の取り違え、「教職員版のみ」の条件抜け、原文にない効果の主張
第2回 5件(高0・中3・低2) 4件(高0・中1・低3) 時制の誤り、言い切りすぎ、修正時の取りこぼし
第3回 8件(高0・中1・低7) 5件(高0・中1・低4) 価格の単一化(購入規模による価格区分に関係なく同じ価格にする変更)の対象範囲が抜けた、字数を詰めて「最初の」が消えた
第4回 2件(高0・中0・低2) 0件 提供終了製品の移行を、条件なしで言い切り
第5回 0件 0件(横展開の修正後に再確認) ―
合計 41件 30件 全体で71件(高2・中21・低48)

重大度は、レビュー担当に次の目安を渡して判定してもらいました。

  • 高:事実の誤り
  • 中:誤解を招く表現、重要な条件の抜け
  • 低:表現や見た目の要件違反

ただし実際の振り分けはレビュー担当の判断なので、事実の誤りでも影響が小さいと見られたものは「中」や「低」になっています。「高」以外に事実の誤りがなかった、というわけではありません。

教育委員会向けが「26 → 5 → 8 → 2 → 0」と、途中で一度増えているのがおもしろいところです(後で触れます)。

修正方針も途中で変えました

第1回の修正:全部作り直したら、取りこぼしが出た

最初の修正では、指摘を反映するために、作成担当が2つの資料とも全スライドを作り直しました。指摘はすべて反映されたものの、教育委員会向けでは作り直しの過程で 「教職員版のみ」の表記が一部のスライドで抜け、スライド同士で食い違う という取りこぼしが発生(第2回レビューで発覚)。

→ 第2回からは「指摘された箇所だけを最小限に直す」方式に変更しました。

第2回の修正:字数に収めようとして、条件が消えた(第3回レビューで発覚)

文字数やレイアウトに収めるために文を短くした結果、「2027年5月1日以降の最初の更新」の「最初の」が消えていました。たった3文字ですが、意味は変わります。

→ 以降は「字数に収めるために条件を削らない。収まらなければ文字枠や改行で調整する」と明示しました。

第4回:レビュー基準を文章で固定した

第4回からは、指摘してよいものを次の3つに限定しました。

  1. 原文と矛盾する記述
  2. 読み手が判断を誤るおそれのある条件の抜け
  3. 明確なデザイン要件違反

言い回しの好みや「もっと良くできる」系の提案は対象外です。これをやらないと、いつまでも指摘がゼロにならないことがわかってきたためです。

見つかったハルシネーションの種類

71件のうち、内容に関わる誤りを「どの段階で入ったか」「どんな種類か」で整理すると、こうなりました(改行や色、字数など見た目の指摘は除いています)。

種類 入った段階 具体例
製品名の取り違え 要約 A7のみの製品を「Microsoft 365 Copilot」と記載。原文の比較表では「Microsoft Copilot」。Microsoft 365 Copilot は「特別価格の対象になる可能性がある」別製品
原文にない説明の追加 生成 上の製品に「Word・Excel・Teams などの中で使えるAI」という説明を付け足した
条件の書き落とし 要約・生成 「教職員版のみ」の条件、「契約期間中は継続・追加可」の条件、単一価格の対象(アカデミック ボリュームライセンスのオンラインサービス)
意味のずれた言い換え 生成 保存容量を「1人あたり使える量」と表現。原文は「共有容量プールへの1ライセンスあたりの加算量」
原文にない効果の主張 生成 「先生の負担軽減」の Before/After、「端末が多い自治体ほど効果が大きい」
言い切りすぎ 生成 原文「AIを安全に広げたい機関向け」→「AIを安全に全学へ広げられます」
時制のずれ 要約・生成 2026年12月1日に提供開始予定の A2 を「提供されています」と記載。実は第1回の後に直した要約に「A2 は既に一般提供」と書いてしまっていて、それを引き継いだ可能性がある
文化的な当てはめ 要約・生成 米国の学年区分 K–5・6–12 を、日本の「小学校・中高」に置き換え
修正時の後戻り 修正 作り直しで条件表記が再び消えた、字数調整で「最初の」が消えた

唯一の「高」(重大な事実誤り)は、資料を作るAIではなく、原文を要約した段階で入っていました。

作成担当は渡された要約に忠実に従い、さらにそれっぽい説明まで付け足していました。(2つの資料それぞれで1件ずつ数えたので、合計2件になっています。)

RAG は「取り出した情報が正しく渡される」ことが前提ですが、取得 → 要約 → 受け渡しの途中でも誤りは入ります。

考察:RAGでハルシネーションはなくなるのか

RAGで防げたこと

「原文に金額がないので、金額は載せない」と指示したところ、価格の数字は一度も創作されませんでした(指示が効いたのだと考えています)。

保存容量の数値(4GB/8GB/12GB、50GB/75GB/150GB)や主要な日付(2026年10月1日、11月5日、12月1日、2027年5月1日、2028年1月1日)も、第1回から原文どおりでした。

いちばん怖い「存在しない事実をもっともらしく作る」タイプは、RAGと明確な指示でかなり抑えられた印象です。

RAGだけでは防げなかったこと

一方で、

  • 英語を日本語にする
  • 短くまとめる
  • ITに詳しくない人向けにわかりやすく書き直す

という過程で、誤りは繰り返し入り込みました。

わかりやすくしようとするほど、条件が省かれ、言い切りになり、原文にない効果が付け足される。 今回の指摘の大半は、この「わかりやすさ vs 正確さ」のせめぎ合いから生まれています。

もう一つ、RAG は「いつ時点の話か」を自動では扱ってくれません。原文は2026年11月5日時点の内容で、A2 の提供開始(12月1日)はまだ先の話でした。今日の日付を踏まえて時制を正しく書くのは、情報を取ってくるだけでは解決しません。

AIレビューにも限界がある

指摘件数は、回を重ねるごとにきれいに減ったわけではありません。教育委員会向けは「26 → 5 → 8 → 2 → 0」。毎回別のレビュー担当だったので、見る観点や厳しさにばらつきが出ました。

さらに衝撃だったのがこれです。

大学向け資料が第4回で「指摘なし」と判定された後、もう一方の資料で見つかった問題(提供終了製品の移行を条件なしで言い切っていた)を横展開して確認したら、同じ誤りが2枚のスライドに残っていました。

「指摘なし」≠「誤りがない」です。レビュー担当も同じ種類のAIなので、同じ死角を持っている可能性があります。

「ゼロ」の基準は人が決める

レビュー基準を文章で固定した時点で、「指摘ゼロ」に届くかどうかは何を指摘とみなすか次第だとはっきりしました。

たとえば最後まで残ったのが、赤地に白文字のコントラストです。画像から測ると 2.94:1、指定色から計算すると 3.53:1。測り方によって、アクセシビリティの目安(WCAG の大きい文字のコントラスト比 3:1)を下回ったり上回ったりします。

どこで「十分に正確」とするかは、資料の用途と読み手を知っている人が決めるしかありません。

実務で効いたこと

今回やってみて、RAGで資料を作るときに効果があったのはこのあたりです。

  • 情報源にない数値は書かせないと明示する
    • 金額の創作がゼロだったのは、たぶんこれのおかげ
  • 要約を挟むなら、要約そのものも原文と照合する
    • 唯一の「高」(重大な事実誤り)は要約段階で生まれた
    • しかも、誤りを直した要約にまた別の誤り(A2 の時制)が入っていた
  • レビューは作成者とは別の担当が、毎回原文を取り直して照合する
  • レビュー基準(何が誤りで、何が好みか)は早めに文章にしておく
  • 修正は「指摘箇所だけ最小限」で。字数のために条件を削らないと明示する
  • 見つかった誤りは、関連する他の資料にも横展開する
    • これで「指摘なし」の資料から誤りが見つかった
  • 最後は人が確認する
    • 特に価格・時期・適用条件のように、判断に直結するところ

まとめ

RAGを使っても、ハルシネーションは「なくなる」のではなく、「種類が変わって、減る」というのが今回の結論です。

  • 情報源にない事実の創作は、RAG+明確な指示でかなり抑えられる
  • でも、要約・言い換え・短縮・修正の各段階で、条件の抜けや言い切りといった見つけにくい誤りが生まれる
  • それを潰すには、原文との独立した照合を繰り返し、誤りを横展開し、最後の判断基準は人が持つこと

「RAGだから安心」ではなく、「RAGでも誤りは入る前提で、検証の仕組みを作っておく」のが現実的な付き合い方かなと思いました。

付録:作業の概要

項目 内容
情報源 Microsoft 365 Education portfolio evolution(2026年11月5日更新)
成果物 教育委員会・自治体向け(39枚)、大学・学校法人の経営層向け(31枚)
レビュー回数 各資料5回、延べ10回(毎回別のレビュー担当)
修正回数 各資料4回(横展開による修正を含む)
指摘の総数 71件(高2・中21・低48)
要約の誤り 第1回レビュー時点で5種類(製品名の取り違え、継続・追加可の条件漏れ、比較表の2機能の漏れ、学年区分の当てはめ、適用時期の言い過ぎ)。さらに、直した後の要約にも A2 の時制の誤りが1件
最終状態 両資料とも、第5回レビューで指摘なし
0
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?