はじめに
社内ドキュメントをAIに検索させられるようにした直後、チームからいちばん多く出てきた感想は「思ったより賢くないね」でした。
聞いてみると、だいたい次のどれかです。
- 質問の答えではなく、それっぽい別のページの内容が返ってくる
- 古い仕様と新しい仕様が混ざった、どちらとも取れる回答になる
- 「見つかりませんでした」と返るが、そのページは確実に存在している
最初は聞き方が悪いのだと思って、質問文を長くしたり、条件を足したりしていました。でも改善は頭打ちでした。あるとき、返ってこなかった質問の元ページを開いて読み直してみて、原因が分かりました。そのページには、私が聞いた内容の答えが、実は一度も書かれていなかったんです。
決まった経緯は書いてある。議論の流れも残っている。でも「結局どうすることにしたのか」の一文がない。人間なら前後から察して読めますが、検索して答えを組み立てる側からすると、書いていないものは存在しないのと同じです。
この記事に出てくるONES.comの製品は2つです。
- ONES Wiki：仕様や設計、議事録を書いて貯めておける、ナレッジベース管理のツールです。
- ONES Assistant：ONESの画面に組み込まれたAIアシスタントです。権限のある範囲のナレッジベースを検索して、質問に答えたりページを整えたりしてくれます。
🔍 検索が外すときに、内部で何が起きているか
ONES Assistantのナレッジベース検索は、意味の近さで探す検索と、固有名詞や番号を正確に拾うキーワード検索を、内容に応じて切り替えて動きます。見つかった候補は関連度順に並べ替えられ、上位のものを根拠に回答が組み立てられます。
つまり回答の質は、候補として上がってきたページに、答えが書いてあるかどうかでほぼ決まります。ここが分かってから、直す対象を質問文からページ側に切り替えました。
うちのナレッジベースで実際に見つかった、答えを邪魔していた要因は3つでした。
| 要因 | ページ側で起きていること | 検索するとどうなるか |
|---|---|---|
| 結論が書かれていない | 経緯と議論だけが残り、決定事項が本文にない | 近いページは見つかるのに、答えの部分だけ返ってこない |
| 表記がそろっていない | 「通知設定」「リマインダー設定」「アラート設定」が混在 | 片方の言い方で聞いたときだけ当たる |
| 古いページが現役のまま | 旧仕様のページに廃止と書いていない | 新旧が同じ重みで候補に並び、混ざった回答になる |
3つ目がいちばん厄介でした。人は更新日を見て「これは古いな」と判断できますが、ページ本文に何も書いていなければ、その判断材料は本文の外にあります。
✍️ ページ側に入れた3つの手当て
やったことは、大がかりな整理ではありません。よく聞かれる質問の元になっているページから順に、次の3点だけ足していきました。
1. 冒頭に「結論」を1〜2行で書く。 経緯より先に、決まったことを本文の最初に置きます。「通知は当日8時に1回だけ送る。連投はしない」のように、その一文だけ読めば答えになる形にします。
2. 呼び名を1つに決める。 ページ内で表記がぶれていたら、正式な呼び方に統一して、旧称は「（旧：アラート設定）」と1カ所だけ残します。こうしておくと、どの言い方で質問しても同じページに当たります。
3. 古いページの冒頭に、廃止と後継を書く。 「このページの内容は2026年7月に廃止。現行は〇〇のページを参照」と本文に書きます。本文に書くのが大事で、これがないと検索する側からは現役に見えます。
3点とも、書くのは数分です。ページを全部作り直すような話ではありません。
💬 「答えられるか」をページ単位で確かめる
とはいえ、どのページに手当てが必要かを目視で探すのは無理があります。そこで、ページを開いた状態でONES Assistantに次を投げるようにしました。
このページの内容だけを根拠にして、次の質問に答えてください。「通知の送信タイミングと回数はどう決まっていますか」。
このページに答えが書かれていない場合は、答えず、何の情報が不足しているかを箇条書きで挙げてください。
ポイントは後半です。「書いていなければ、書いていないと言ってほしい」と明示すると、不足している項目がそのまま加筆リストになって返ってきます。
同じ確認は、こう頼むと精度が落ちます。
❌「このページを要約してください」
✅「このページだけを根拠に、この質問に答えてください。答えられないなら不足情報を挙げてください」
要約は、書かれていない部分を埋めずに、あるものだけをきれいにまとめてしまいます。それだと「答えられないページ」であることに気づけません。
ページ内の表記ゆれを探したいときは、キーワードを抽出させると早いです。抽出されたキーワードに、同じものを指す言葉が2つ以上並んでいたら、統一の対象になります。
⏱ 「一発で当たる」割合が変わりました
手当てをする前は、仕様を1件確認するのに、質問して外して、ページを開いて読んで、で10分前後かかっていました。よく聞かれる20ページほどに3点の手当てを入れたあとは、1〜2分で終わることが増えています。厳密に計測したわけではなく体感ベースですが、質問を言い換えて聞き直す回数が明らかに減りました。
数字よりも効いたのは、ナレッジベースに書く側の意識が変わったことかもしれません。「AIが答えられる形で書いてある?」という基準ができたので、レビューのときの指摘が具体的になりました。
直しても答えられないものもあります
書いていないことは、当然ながら出てきません。口頭で決めてそのままの内容は、まずページに書くところからです。
もう1つ、ONES Assistantは利用者の権限の範囲で動きます。自分に閲覧権限のないスペースの内容は、検索結果にも回答にも出てきません。「あるはずなのに出てこない」ときは、ページの書き方ではなく権限や索引範囲のほうを疑ったほうが早い場合があります。索引の範囲は管理者側で設定できるので、そこも合わせて確認すると原因が絞れます。
おわりに
今回やったことを1行ずつ並べると、こうなります。
- 質問文をいじるのをやめて、返ってこなかった質問の元ページを開いた
- 結論・呼び名・廃止の3点を、よく聞かれるページから順に足した
- 「答えられないなら不足情報を挙げて」と頼んで、加筆すべき箇所を洗い出した
AI検索の精度を上げる話というと、どうしても聞き方の工夫に目が向きます。ただ、うちの場合に効いたのは書いてあることを増やすほうでした。
手元のナレッジベースで、直近1週間に誰かが探していた情報を1つ思い出して、そのページを開いてみてください。答えは、本文の最初の3行に書いてあるでしょうか。
同じところで足踏みしている方は、ONES.com で自分のドキュメントを相手に試してみるのが早いです。自社のナレッジベースをどう整えるか相談したい場合は、support@ones.com までどうぞ。