1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

検索・回答プロファイルの「業務ガイド」を試す:条件を確かめてから答える RAG の作り方

1
Posted at

初めに

社内の問い合わせに RAG で答えていると、こんな場面によく出会います。

「パスワードを再設定したい」
→ 手順書には「個人アカウントの場合」と「共用アカウントの場合」の 2 通りが書いてある
→ AI は両方をまとめて答える
→ 利用者は、自分がどちらなのか分からないまま読む

資料は正しくても、どの条件で・どの資料を・どの順で確かめれば答えに届くかは資料に書いてありません。それはヘルプデスクの担当者の頭の中にある「進め方」です。

Production Ready RAG の検索・回答プロファイルには、この進め方を登録する 「業務ガイド」 という機能があります。この記事では、合成のテスト文書で業務ガイドを作り、業務ガイドがあるとき・ないときで回答がどう変わるかを実際の画面で確かめます。

この記事のテスト文書・会社名・部署名・内線番号は、すべて記事のために作った架空のものです。2026 年 10 月 22 日時点の機能で確かめています。

先に結論

先に結論を書くと、業務ガイドはこういうものです。

項目 内容
何を書くか 答えそのものではなく、確かめる条件・分岐・手順・参照する資料の頁・承認・引き継ぎ先
どこに置くか 検索・回答プロファイルの「プロファイルの知識 › 業務ガイド」(プロファイルごと)
いつ使われるか 公開した版だけ。質問が「照合の語」「質問の例」に当たったとき
何が変わるか 条件が分からなければ回答の前に確認し、分かればその条件の手順だけを答え、末尾に承認・引き継ぎ先を添える
AI 照合・確認・分岐・手順ごとの検索は LLM を使わない(回答の生成だけが LLM。意味の照合を ON にすると埋め込みが 1 回増える)

処理の流れはこうです。

テスト用のデータ

ナレッジベースと検索・回答プロファイル

ナレッジベース「Qiita検証_業務ガイド」に 2 件の文書を入れ、同じナレッジベースを検索する検索・回答プロファイルを 2 つ作りました。

プロファイル 業務ガイド
Qiita検証_業務ガイドあり 1 件を公開
Qiita検証_業務ガイドなし なし(比較用)

01_profile_list.png

テスト文書

文書 内容
社内システム アカウント管理手順書(PDF・5 頁) p.2 アカウントの種類(個人・共用)/ p.3 個人アカウントの再設定(本人がポータルで)/ p.4 共用アカウントの再設定(管理者が申請・部長の承認)/ p.5 再設定の後の確認・問い合わせ先
業務用パソコン 利用ルール(PDF) 画面のロック・持ち出しなど(似た語を含む別の文書)

アカウントの種類によって手順がまったく違い、共用アカウントだけ承認が要る、という「条件で答えが分かれる」文書にしました。

業務ガイドを作る

置き場所

「ナレッジ構築 › 検索・回答プロファイル」でプロファイルを開き、下の「プロファイルの知識」の 「業務ガイド」 タブです。ナレッジベースや文書ではなく、プロファイルごとに持ちます。

02_guide_list.png

「新しい業務ガイド」で作るほか、「取り込み」で JSON や「回答の過程(Excel・テキスト)」から下書きを作れます(後者は AI が下書きを作ります)。

基本:どの質問に使うか

項目 今回の値
タイトル アカウントのパスワードを再設定する
期待する結果 アカウントの種類に合った再設定の手順と、必要な申請・承認・再設定の後の確認が分かる。
質問の例 パスワードを忘れたので再設定したい/ログインできないのでパスワードを変えたい/共用アカウントのパスワードを再設定するには?
照合の語 パスワード/再設定

「質問の例」か「照合の語」が 1 つ以上必要です。照合は次の点数で決まり、2 点以上で業務ガイドを使います。

  • 照合の語が質問に含まれる:1 語ごとに 2 点(プロファイルの「用語・同義語」の別名でも可)
  • 質問の例と文字の並びが似ている(文字の 2 つ組の一致率 0.5 以上):3 点
  • 意味の近さ(後述の設定を ON にしたときだけ。埋め込みのコサイン類似度 0.6 以上):3 点

確認する条件:答えを決めるために要ること

03_guide_conditions.png

項目 今回の値
ID / 名前 account_type / アカウントの種類
型・選択肢 選択:個人アカウント/共用アカウント
言い換え 個人アカウント: 自分のアカウント、社員番号
共用アカウント: 共有アカウント、shared-、部署のアカウント、受付の端末
値の出所 利用者に聞く
分からないとき 確かめる
確かめる問い パスワードを再設定したいのは、どのアカウントですか?

ポイントは 「言い換え」 です。質問に選択肢の語か言い換えの語が出れば、条件は分かったものとして聞き直しません。

「分からないとき」は、確かめる(利用者に聞く)・分岐する(分からない場合の分岐へ進む)・人へ引き継ぐ(窓口を案内して終える)から選びます。

手順と参照する資料の頁

手順は 3 つにしました。各手順に 「この手順が参照する資料」 として、根拠のある文書と頁を指定できます。

04_guide_step.png

手順 参照する頁
本人が社内ポータルで再設定する p.3
管理者が再設定を申請し、部長の承認を受ける p.4
再設定の後にログインと端末の保存パスワードを確かめる p.5

回答のときは、手順ごとに「検索の手がかり」で検索し、参照する頁に絞った検索で見つかった根拠を、検索の順位に関係なく回答の材料に入れます(プロファイルの「業務ガイドの手順ごとに探す」が ON のとき。既定 ON)。

分岐:条件の値で手順を選ぶ

05_guide_branches.png

「アカウントの種類 = 個人アカウント」なら手順 1、「= 共用アカウント」なら手順 2 へ進みます。分岐の先に無い手順(手順 3)は、どちらの場合にも残ります。

完了の条件・影響と引き継ぎ

06_guide_completion.png

07_guide_impact.png

項目 今回の値
影響の範囲 グループ
承認を求める ON(メモ:共用アカウントの再設定は、部長の承認を受けてから情報システム部が行います。)
影響範囲・承認が係る手順 管理者が再設定を申請し、部長の承認を受ける(この手順が残る回答だけに承認を書く)
人へ引き継ぐ条件 本人であることを確かめられない/共用アカウントの管理者が分からない
引き継ぎ先 情報システム部 ヘルプデスク(内線 4100)

検証する

保存した下書きは「検証」で確かめます。わざと選択肢に「検証用アカウント」を足して、分岐を作らずに検証すると、こう出ました。

08_guide_validate.png

注意(warning)は公開を止めません。公開できない「問題」になるのは、手順が無い・照合できない(質問の例も照合の語も無い)・存在しない手順や条件を指している・参照する資料がプロファイルのナレッジベースに無い(または索引が済んでいない)、などです。今回は「検証用アカウント」を外して保存し直し、問題 0 件にしました。

下書きで試す

公開する前に、編集画面の下の 「下書きで試す」 で回答を作れます。分かっている条件を指定して試せるのが便利です。「共用アカウント」を指定して「パスワードを再設定したい」と試しました。

09_guide_try.png

「進め方:手順どおりに答えた」「手順の説明」に、残った 2 つの手順(共用アカウントの申請・再設定の後の確認)がどちらも「説明した」 と出ました。個人アカウントの手順は分岐で外れています。試した回答は、実行履歴・フィードバック・評価には入りません。

公開する

「公開」で今の下書きを新しい版として公開します。回答に使うのは公開した版だけです。

10_guide_publish.png

公開の履歴は直近 5 版まで残り、前の版に戻すこともできます。「アーカイブ」すると回答に使わなくなります。

業務ガイドがないとき・あるとき

ないとき

「Qiita検証_業務ガイドなし」のチャットで「パスワードを再設定したい」と質問しました。

11_answer_without_guide.png

資料に沿った正しい回答ですが、個人アカウントの手順と共用アカウントの手順が混ざっています。利用者は、自分がどちらに当たるのかを自分で読み分ける必要があります。

あるとき:回答の前に確認する

「Qiita検証_業務ガイドあり」で同じ質問をすると、回答の前にカードが出ました。

12_chat_confirm.png

問いと選択肢は、業務ガイドの「確かめる問い」と「選択肢」そのものです。ここまで LLM は呼んでいません。「確認せずに回答」を押すと、決まらない点を前提として示して回答します。

「共用アカウント」を選んで回答させました。

13_answer_with_guide.png

違いは 3 つです。

  1. 共用アカウントの手順だけを答えている(個人アカウントの手順が出ない)
  2. 手順の根拠に、業務ガイドで指定した p.4 と p.5 が付いている
  3. 末尾の 「業務ガイドの案内」 に、引き継ぎ先と「実施の前に承認が必要です。」が出る(この欄は「資料の記載ではありません」と明示される)

「処理の経過 › 処理の詳細」では、使った業務ガイドと版、確かめた条件とその出所が分かります。

14_answer_details.png

同じ質問・同じ選択で何度か試すと、p.4 の手順の説明が「未確認(引用の原文が根拠に見当たらない)」になり、「業務ガイドの手順『…』は、取得した資料で説明を確かめられませんでした」と出ることがありました(共用アカウントの側で 4 回中 3 回)。根拠の頁は回答の材料に入っているのに、言い換えた手順の文が原文と照合できないためで、Issue にしました(#3064)。そのうち 1 回は、本文に「(E6)」のような根拠の内部の番号がそのまま出ました(#3065)。大事な回答は、出典の頁で原文を確かめてください。

言い換えで条件が決まる

質問に言い換えの語があれば、確認のカードは出ません。「受付の端末の共有アカウントのパスワードを再設定したい」は、「受付の端末」「共有アカウント」から共用アカウントと読み取られました。

15_alias_details.png

「自分のアカウントのパスワードを忘れてしまいました」は、「自分のアカウント」から個人アカウントと読み取られ、個人アカウントの手順(p.3)と再設定の後の確認(p.5) だけを答えました。

16_answer_personal.png

こちらには 「実施の前に承認が必要です」が出ていません。承認を「共用アカウントの手順」にだけ係るように指定したからです(影響範囲・承認が係る手順)。

RAG 検索では文で確かめる

RAG 検索(「LLM で回答を生成する」を ON)には確認のカードがありません。条件が分からないと、根拠を探す前に止まり、次のように返します。

17_search_clarify.png

処理の経過は 2 ステップ・0.1 秒未満で、LLM は呼んでいません。答えを質問に書き足して(「共用アカウントのパスワードを再設定したい」)、もう一度検索します。MCP の rag_search からは conditions で条件を渡せます。

このとき、下の検索結果の欄に「一致する根拠が見つかりませんでした。キーワードを変える…」と出ます。根拠が無いのではなく、確認のために止めただけなので、Issue にしました(#3066)。

プロファイル側の設定

業務ガイドの使い方は、検索・回答プロファイルの設定で調整できます。どれも「グローバル既定を継承 / ON / OFF」で選びます。

業務ガイドの手順ごとに探す(既定 ON)

18_profile_step_option.png

手順ごとの検索と、参照する頁の根拠を入れる処理のスイッチです。上限として「手順ごとの検索の上限」(既定 4)と「手順ごとの検索の時間上限(秒)」(既定 60)もあります。AI の呼び出しは増えませんが、手順ごとに数秒かかります。

業務ガイドの照合(既定 OFF)

19_profile_matching.png

  • 意味の近さで業務ガイドを選ぶ:語が一致しない言い方でも、質問の例との意味の近さで業務ガイドを選びます。
  • 近い業務ガイドを確かめる:照合の点が近い業務ガイドが複数あるとき、どれについての質問かを確かめます(選択肢は業務ガイドの題名)。

「サインインできなくなったので、ログイン用の暗証を新しくしたい」は、照合の語(パスワード・再設定)を 1 つも含みません。

  • 意味の近さ OFF:業務ガイドは使われず、ふつうの回答になりました。
  • 意味の近さ ON:業務ガイドに当たり、確認のカードが出ました。

20_semantic_confirm.png

質問ごとに埋め込みの呼び出しが 1 回増えます。

曖昧な質問の扱い

21_profile_clarify.png

「確認してから回答する」(既定)なら上のとおりカードで確かめ、「前提を示して回答する」ならカードを出さずに、決まらない点を前提として示して回答します。

業務ガイドを書くときのコツ

試してみて分かった、書き方のコツです。

  1. 答えを書かず、進め方を書く。 答えは資料にあります。業務ガイドには「何が分かれば答えが決まるか(条件)」「その値で何を確かめるか(分岐・手順)」を書きます。
  2. 言い換えをたっぷり書く。 利用者は「共用アカウント」とは言わず「受付の端末」「部署のアカウント」と言います。言い換えが当たれば、確認のカードを出さずに済みます。
  3. 手順に参照する頁を付ける。 検索の順位に関係なく、その頁の根拠が回答の材料に入ります。
  4. 承認は係る手順だけに付ける。 「影響範囲・承認が係る手順」を選ばないと、すべての回答に承認の注意が出ます。
  5. 公開の前に「下書きで試す」。 条件を変えて、残る手順と「説明した」かを確かめます。
  6. 照合の語は短すぎない語にする。 照合の語は部分一致なので、短い語は関係の無い質問にも当たります。

業務ガイドを使うかどうかを、プロファイルの 1 つのスイッチ(既定 OFF)で選ぶ形にする変更が開発中です(Issue #3048)。画面や既定が変わったら、プロファイルでそのスイッチを ON にしてください。

気になった点(作成した Issue)

Issue 内容
#3064 業務ガイドの手順の参照頁の根拠を言い換えて説明すると、引用の照合で未確認になり手順を unused と判定する
#3065 回答の本文に根拠の内部の番号「(E6)」がそのまま表示され、その段落が未確認になる
#3066 RAG 検索で業務ガイドの条件を確かめる返答の下に「一致する根拠が見つかりませんでした」が出る

まとめ

  • 業務ガイドは、答えではなく 「どの条件で・どの資料を・どの順で確かめるか」 を検索・回答プロファイルに登録する仕組み
  • 条件が分からなければ回答の前に確認し(チャットはカード、RAG 検索は文)、言い換えが当たれば聞き直さない
  • 条件の値で分岐して手順を絞り、手順の参照する頁の根拠を必ず回答の材料に入れる
  • 回答の末尾に承認・引き継ぎ先を「業務ガイドの案内」として添え、承認は係る手順が残るときだけ出す
  • 照合・確認・分岐・手順の検索は LLM を使わない。公開した版だけを使い、下書きで試してから公開できる

資料に答えがあっても、「どちらの場合か」を聞かずに答えると、利用者は迷います。
担当者の頭の中の進め方を業務ガイドにすると、RAG が担当者と同じ順で確かめてから答えるようになります。
まずは、問い合わせの多い 1 件から書いてみるのがおすすめです。

1
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?