問い合わせ対応を自動化するとき、「FAQやマニュアルをベクトル検索してLLMに渡せばうまくいく」と考えてRAGを足すケースが増えている。
ところが初手で捨てるべき設計をそのまま載せると、的外れ回答・根拠なし断言・運用コストの爆発が起きやすい。
この記事では、問い合わせ自動化にRAGを入れる前に最初に捨てるべき3パターンを、初心者向けに整理する。
結論:足す前に「捨てる」を決める
| 捨てるパターン | 何が起きやすいか | 代わりにやること |
|---|---|---|
| 全文書を無選別で突っ込む | ノイズ検索・古い情報の混入 | 公開してよい一次情報だけを、用途別に絞って索引する |
| 「必ず何か答える」生成 | 根拠なし断言・誤案内 | 根拠不足なら「分からない+エスカレーション」を正とする |
| 評価なしで本番投入 | デモは通るが現場で崩れる | 代表クエリ20件以上で検索と生成を分けて測る |
覚え方:RAGは「賢いFAQ検索」ではなく、検索品質 × 生成制約 × 運用評価の積。どれか1つを省略すると、問い合わせ自動化は脆くなる。
なぜ問い合わせ自動化でRAGが「効きすぎて危ない」のか
問い合わせ自動化の典型フローは次のとおりだ。
受信(メール/フォーム/チャット)
→ 分類・ルーティング
→ (必要なら)FAQ/マニュアル検索(RAG)
→ 一次回答の下書き or 自動返信
→ 自信が低い/対象外 → 人間へ引き継ぎ
学習や入力に含まれない社内FAQや製品仕様は、LLM単体で正確に参照できない。そこでRAGで「根拠文書」を渡すのは合理的だ。
一方、問い合わせは誤回答のコストが高い領域でもある(返金条件、契約、アカウント操作、個人情報など)。
だから「検索して答える」だけでは足りず、何を索引しないか/何を断言しないか/どう測るかを先に決める必要がある。
捨てるパターン1:全文書を無選別でベクトルDBに突っ込む
症状
- 古い手順書と新しい手順書が同時にヒットする
- 社内メモ・下書き・テスト文書が混ざる
- 質問と無関係な長い段落が上位に来る
- 「それっぽいが違う製品」のFAQが混ざる
なぜ起きるか
埋め込み検索は「意味が近い」文書を取る。正しさ・新しさ・権限・用途は見ない。
「とりあえず全部入れれば網羅できる」は、問い合わせ用途では逆効果になりやすい。
代わりにやること
| ルール | 具体例 |
|---|---|
| 公開・共有してよい一次情報だけ | 公開FAQ、製品マニュアルの正式版、サポート方針の確定版 |
| 用途で索引を分ける | 「料金」「障害」「アカウント」などカテゴリ別コレクション |
| 鮮度をメタデータで持つ |
updated_at、版番号、有効期限。古い版は検索対象外 |
| 重複を潰す | 同趣旨FAQは1本に統合。類似文書の乱立を防ぐ |
| 機密・個人情報は入れない | 個別チケット、顧客名・メール、内部ホスト名は索引禁止 |
取り込み前のチェックリスト例:
[ ] この文書は正式版か(下書きではないか)
[ ] 最終更新日は分かるか
[ ] 問い合わせ回答の根拠として使ってよいか
[ ] 個人情報・社外秘が混ざっていないか
[ ] 同じ内容の別文書がないか
ポイント:索引の品質は、埋め込みモデルより何を入れないかで決まることが多い。
捨てるパターン2:「必ず何か答える」生成にする
症状
- 根拠チャンクが弱いのに断定口調で返す
- 「ドキュメントに無い条件」をそれっぽく補完する
- ユーザーがそのまま実行して事故る(誤った手順・期限・例外ルール)
なぜ起きるか
LLMは会話を完結させようとする傾向が強い。RAGの検索結果が薄い・矛盾していても、空白を埋めてしまう。
問い合わせ自動化では、これは「親切」ではなく「危険」だ。
代わりにやること
プロンプトとワークフローの両方で、答えられないことを正解にする。
| 制約 | 実装の例 |
|---|---|
| 根拠必須 | 検索ヒットが閾値未満なら生成しない/定型文のみ |
| 引用付き | 回答に「参照:FAQ #12」など根拠IDを付ける |
| 禁止領域 | 返金確定、契約解釈、個人情報の開示は常に人間へ |
| エスカレーション | 「確認が必要です。担当に引き継ぎます」を正規ルートにする |
| 口調 | 断定を避け、手順はチェックリスト形式にする |
プロンプトの核(例):
あなたは一次対応の下書き係です。
- 渡された根拠文書に書かれていることだけを使って答える
- 根拠が不足・矛盾・古い可能性がある場合は、推測で埋めない
- その場合は「確認が必要」と明記し、人間対応へ回す文言にする
- 金額・期限・例外条件は、根拠に明示がない限り述べない
n8n などで組む場合も、LLMノードの直後では、自信スコアやヒット件数を補助信号として扱い、引用との整合、鮮度、認可、禁止領域も確認して、自動送信と下書き保存を分ける設計にする。事故低減の効果は本稿では未実測。
検索 Top-K
→ ヒット弱い → 人間キュー(自動返信しない)
→ ヒット強い → LLM下書き
→ 禁止領域ヒット → 人間キュー
→ OK → 自動返信 or オペレーター確認後送信
捨てるパターン3:評価セットなしで本番(または自動返信)に載せる
症状
- デモの5問は完璧、本番の言い回しで崩れる
- モデルやチャンクを変えるたびに「良くなった気がする」だけで終わる
- 検索は直ったのに生成が悪化、に気づけない
なぜ起きるか
問い合わせの言い回しは多様で、FAQ見出しと一致しない。
評価なしだと、検索ミスと生成ミスが混ざったまま感覚でチューニングすることになる。
代わりにやること
最低限、次の評価セットを作ってから自動返信を有効化する。
| 列 | 内容 |
|---|---|
| query_id | 通し番号 |
| 質問文 | 実際の言い回しに近い文 |
| 期待カテゴリ | 料金 / 障害 / アカウント など |
| 期待根拠 | FAQ ID や段落 |
| 検索OK? | Top-K に期待根拠が入ったか |
| 生成OK? | 要点が正しいか/余計な断定がないか |
| 望ましい挙動 | 自動回答 / 下書き / エスカレーション |
カテゴリは意図的に混ぜる。
| カテゴリ | 入れる理由 |
|---|---|
| よくある定型 | ベースラインの下限を見る |
| 言い換え | 埋め込みの頑健性 |
| 固有名詞・エラーコード | キーワード検索(ハイブリッド)の必要性 |
| ドキュメントに無い質問 | 「分からない」が正しく出るか |
| 禁止領域 | 必ず人間へ行くか |
目安は 20件以上。自動返信を広げる前に、少なくとも「検索OK」と「生成OK」を別列で記録する。
3パターンを捨てたあとの最小構成
問い合わせ自動化にRAGを載せるなら、初手はこれで足りることが多い。
- 索引:正式FAQ/マニュアルの確定版のみ(カテゴリ分割+更新日)
- 検索:ベクトル+キーワードのハイブリッド(エラーコード対策)
- 生成:根拠不足は回答しない/引用必須/禁止領域は固定ルール
- 分岐:自動返信・下書き・人間キューを明示的に分ける
- 評価:代表クエリで検索と生成を分けて測り、週次で1〜2件追加
[最小構成チェック]
[ ] 索引に下書き・個人情報・古い版が入っていない
[ ] 「分からない→エスカレーション」が実装されている
[ ] 禁止領域はLLM判断ではなくルールで落としている
[ ] 評価セット20件以上でベースラインを記録した
[ ] 自動返信は狭いカテゴリから段階的に開いている
実装チェックリスト
- 索引対象の「入れてよい文書/入れてはいけない文書」を文書化した
- FAQに更新日(または版)を付け、古い版を検索対象外にした
- 根拠不足時の定型文と人間キューへの分岐を作った
- 返金・契約・個人情報など禁止領域をルールで除外した
- 代表クエリ20件以上を用意し、検索OK/生成OKを別記録した
- 「ドキュメントに無い質問」を評価セットに入れた
- 自動返信は限定カテゴリから開始し、全体開放していない
- 失敗事例を1件出たら評価セットへ追加する運用を決めた
失敗パターン(現場でありがちな続き)
パターンA:チャンクサイズだけ延々いじる → 対策:まず索引の選別と評価セット。サイズ調整は測定後。
パターンB:エージェント化を先にやる → 対策:RAG単体(検索+制約付き生成)が安定してからツール呼び出しを足す。
パターンC:ヒットした全文をプロンプトに詰め込む → 対策:Top-Kと最大トークンを制限し、要約より原文の要点抜粋を優先する。
パターンD:社内Slackの雑談ログまで学習データ扱いする → 対策:問い合わせ根拠は正式文書に限定する。雑談はノイズと誤解の温床。
参考リンク
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al., 2020)
- RAGAS — Evaluation framework for RAG
- LangChain — Retrieval
- LlamaIndex — Evaluation
- n8n — AI Agent / LangChain nodes
- OpenAI — Retrieval Augmented Generation (RAG)
補足:適用条件と確認範囲(2026-10-12)
20件は評価を始めるための著者の目安で、本番安全性の合格基準ではありません。重要な失敗条件や言い換えを追加し、用途別に合否と許容リスクを定義します。モデルの自己申告する自信や検索ヒット件数だけでは回答の正しさを保証できません。検索評価ガイドを参考に検索と生成を別々に評価します。本稿は設計案で、効果測定済みの導入事例ではありません。
この記事を書いた人✏️@YushiYamamoto
ITPRODX.com代表 / AIアーキテクト
Next.js / TypeScript / n8nを活用した自律型アーキテクチャ設計を専門としています。
日々の自動化の検証結果や、ビジネス側の視点(ROI等)に関するより深い考察は、以下の公式サイトおよびnoteで発信しています。
