0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

社内RAGの検索方式は、文書の構造で分ける。READとBM25をベクトル検索の前に測る

0
Posted at

注記が別ページにあると、正しいチャンクでも回答がずれる

社内RAGは、質問に近い文書を探してから、その文書を材料に答えを書かせる仕組みです。検索方式は、文書の構造で分けます。答えが1つのチャンクで閉じるなら、ベクトル検索で足ります。チャンクは、検索の前に文書を切った断片です。単位、年度、例外が別のページにあるなら、キーワード検索と、文書を切らずに必要な行を読ませる方式を、ベクトル検索より先に測ります。

行読みの1つが、READ(Reliable Embedding-free Agentic Document-search)です。根拠は、Tamangらの Beyond Top-K: Replacing Black-Box Retrieval with Interpretable Agentic Operations です。780ページの財務報告書に51問を聞き、モデルはすべて Gemini 2.5 Pro でした。ベクトル検索の正答率は15.7%。READは58.8%。キーワードのBM25は51.0%で、READとの差はこの51問では検出できていません。

その15.7%が現場でどう見えるかを、保全の質問で見ます。たとえば、担当者がこう聞きます。

「A系統の圧力は、2024年度から2025年度でどう変わりましたか。」

社内のRAGは、表の行を返します。A系統は0.82から0.91。モデルは、約11%増えた、と答えます。引き算は合っています。

文書の冒頭には、別の文があります。特に断りがなければ、温度は℃、圧力はMPa、流量はm³/h。そして、2025年度から圧力の記録方法を変えた、と。表までは数十ページあります。

断片だけを渡すと、増減は計算できます。記録方法を変えたあとの数字を、前年と同じ条件として比べてよいかは、断片の外にあります。短いFAQなら断片だけで意味が閉じるので、ベクトル検索で足ります。表、注記、定義、例外が離れていると、チャンクの渡し方そのものが答えをずらします。

次の節は、このずれを、さきほどの財務報告書の中で測った結果です。


チャンクを伸ばしても、年度の見出しは断片の外に残る

測定に使ったのは、インドの会計検査院が公開したグジャラート州の Finance Accounts 2024–25, Volume I です。

内容の行の86.8%は表の行です。論文は、数値の繰り返しを3.68倍と測っています。ある数字の単位は、中央値で13行上の見出しから引き継がれます。インドの財務文書では、単位が lakh(10万)と crore(1,000万)で切り替わります。ここを取り違えると、100倍ずれます。

この実験のチャンクは、文書を数百〜数千文字に切り、埋め込みモデルで数値の列にしたものです。質問も同じ列にして、近い断片を渡します。単語が違っても意味が近ければ隣に来る、という前提です。

「装置の最高使用温度」と「設備が安全に稼働できる温度の上限」のような言い換えでは、この前提が役立ちます。キーワード、ベクトル、ハイブリッド、再ランキングの使い分けは、頭が良いだけでは足りない──AIの答えは「探す設計」で決まるに書いてあります。条件の組み合わせで届かない文書は、AI検索の「完璧な夢」は終わった:埋め込みモデルが絶対に見つけられない文書がある理由にあります。

この論文が測っている失敗は、届いた断片の単位と年度が、別の行にあることです。

固定の長さで切ると、数値のチャンクのうち最大67.4%が単位を失いました。表の構造を残すように切る工夫をしても、単位なしは0.3%まで減ります。それでも、年度の見出しがない数値チャンクは、試したどの長さでも27〜30%残ります。質問を見る前に切っている限り、チャンクを伸ばしても、年度は断片の外に残り続けます。

論文が動機にした質問は、こうです。2024–25年度の財政赤字(Fiscal Deficit)と歳入余剰(Revenue Surplus)の差はいくらか。2つの数字は同じ表の中で47行離れています(385行目と432行目)。差そのものは文書に印刷されていません。計算が要ります。事前の試行では、調整済みのベクトル検索は両方を同じ検索結果に載せられず、モデルは答えられない、と返しました。存在しない数字を作った失敗とは別で、材料が届かなかった失敗です。試行は2問だけで、正答率の根拠にはしていません。51問の本実験が、あとの数字です。

コードと質問集は、MITライセンスで twospoon/READ にあります。


READは、埋め込みを使わず、行番号で文書を読ませる

年度が断片の外に残るなら、検索の前に切るのをやめます。READは、文書をチャンクへ切ってベクトル化しません。モデルに、語句検索、見出し、行範囲の3操作を渡し、必要な行を開かせます。埋め込みモデルも、ベクトルデータベースも、置きません。

人が長いマニュアルを調べるときの動きに近いです。300ページから「過熱時の停止条件」を探すとき、担当者は先頭から全部を読みません。目次で「安全機能」を探し、該当ページを開きます。「温度上限は第4章」とあれば第4章へ行き、注記があればそこも見ます。足りなければ、もう一度検索します。READは、この行き来をツール呼び出しにします。

論文の実装は、読み取り専用のMCPサーバーです。MCPは、モデルからツールを呼ぶときの接続の取り決めです。3操作は、4つのツールに分かれます。語句検索が grep、ファイルの確認が list、見出しが outline、範囲の読みが read です。1回の read は400行までです。どの呼び出しも決まった処理で、結果に行番号が残ります。どの行を見てその答えになったかを、あとから追えます。

モデルは、質問から語句を決め、検索し、見出しと突き合わせ、単位や年度が入る幅で読み、足りなければ語句を変えます。財務報告書の「Fiscal Deficit」のように、文書にその語句があるときは、意味の近い別の文より、その語句の行の方が材料になります。

質問の言葉が文書に出てこない言い換えでは、このやり方は弱くなります。論文も、そこではベクトル検索が残る余地がある、と書いています。


ベクトル検索は15.7%、READは58.8%。BM25の51.0%とは差が出ていない

冒頭の3つの率は、条件を揃えた比較です。質問は51問、モデルはどの方式も Gemini 2.5 Pro。同じ質問どうしで対にし、McNemar検定のあと、6つの比較でHolm補正をしています。区間はWilsonの95%信頼区間です。

次の表の上2行は、READから道具を減らした版です。本線は3行目です。

方式 正答率 95%信頼区間 1問あたりの費用
見出しなし 66.7% 53.0–78.0% 0.040ドル
正規化しないgrep 66.7% 53.0–78.0% 0.043ドル
READ 58.8% 45.2–71.2% 0.058ドル
BM25 51.0% 37.7–64.1% 0.020ドル
ハイブリッド 29.4% 18.7–43.0% 0.022ドル
エージェント+ベクトル検索 27.5% 17.1–40.9% 0.050ドル
ベクトル検索(k=8) 15.7% 8.2–28.0% 0.023ドル

費用は論文の表のまま、米ドルです。人件費は含みません。BM25は、語の出現と、文書全体での珍しさで順位を付けるキーワード検索です。ハイブリッドは、ベクトルとBM25を混ぜ、並べ替えも入れた構成です。混ぜ方は、頭が良いだけでは足りない──AIの答えは「探す設計」で決まるにあります。

表で先に目に入るのは、ベクトル検索の15.7%とREADの58.8%の差です。BM25の51.0%との7.8ポイントは、この節の後半の検定では検出できていません。

15.7%は、ほかの方式と同じ深さ(k=8、表を意識した2,000文字)に揃えた値です。チャンク長と深さを振ったなかの最良は35.3%(2,000文字、k=16)でした。READとの差は23.5ポイントで、補正後も有意です(p=0.017)。振った6通りのすべてで、READが上でした。

同じモデルで、繰り返しの上限も同じまま、ツールだけをベクトルの上位に替えると、正答は27.5%です。READは58.8%。差は31.4ポイント(補正後 p=0.012)。回数は揃えてあります。分かれたのは、渡しているものが切った断片か、行を指定して読む操作か、です。

正解箇所が一度も届かなかった質問も、ベクトル検索の方が多いです。ベクトル検索で13問、READで4問です。ベクトル検索が正解ページを出せた割合は4.3%、READは41.3%です。

ベクトルを繰り返し呼ぶエージェントは、別の壊れ方をします。正解箇所を出せなかったのは5問です。根拠にない数字を含む回答は21問で、方式の中でいちばん多くなっています。もっともらしい断片が積み上がり、根拠を超えて計算しています。

質問の種類でも偏ります。1つの数字を、指定の行と列から取る問題が24問あります。ここでベクトル検索は12.5%、READは70.8%です。どの表の、どのページの、どの単位か、という文章で答える問題では、方式の差はほとんど見えません。落ちているのは、よく似た数字が並ぶ表です。種類ごとの問数は少なく、区間も広いです。論文が本線にしているのは、51問全体の対比較です。

ここまでが、ベクトル検索との差です。BM25との差は、次の検定では出ていません。

BM25は51.0%。READとの差は7.8ポイントで、信頼区間はゼロをまたぎます。補正後のpは1.00です。結果が割れた22問のうち、READが上だったのは13問、BM25が上だったのは9問です。51問では、約28ポイントより小さい差は検出できません。7.8ポイントは、その範囲に入ります。

この実験が分けたのは、埋め込みを使う検索と、使わない検索です。READとBM25の優劣は、検出できていません。

見出しを外した版と、正規化しないgrepの版は、どちらも66.7%で、READより高く見えます。差は有意ではありません。4問分です。著者らは、道具一式が最良だとは主張できない、と書いています。PDF変換で見出しが崩れている文書では、目次ツールが余分になる可能性も残しています。

費用も、選択を変えます。READは1問31.4秒、ツール呼び出しは平均4.8回。ベクトル検索は12.7秒です。BM25はREADの約3分の1の費用で、待ち時間も約3分の1です。論文は、実務ではBM25を真剣に見た方がよい、と書いています。費用と正答だけなら、BM25が前に来ます。READを選ぶ理由は、失敗の理由を分類できることと、呼んだツールと行番号を再生できることです。

書いた数字が、実際に読んだテキストに全部含まれていた割合では、ハイブリッドが72.0%、BM25が67.3%、READが58.0%です。正答率の順位と、この割合の順位は一致しません。たくさん読むと、読んでいない数字を書いてしまう機会も増えます。

文書に答えがない問いは5問です。ベクトル検索はそのうち4問に答えています。READとBM25は2問です。5問だけでは、方式の差とは言えません。

質問集は、システムを作った著者らが作っています。著者はTwoSpoonに所属し、モデル利用料も同社が出しています。最初の25問では、どの対でも有意な差が出ませんでした。その後、広い表の列を選ぶ問題と、後半のページを使う問題を足して51問にしています。追加の前、36問のうち31問の根拠は、印刷ページの2〜18ページに集まっていました。足した箇所は、チャンク検索が弱くなりやすい場所だと知りながら足した、と著者らは開示しています。途中のベクトル検索の正答率は24.0%、16.7%、15.7%と動いています。

文書は1冊、変換ツールは pymupdf4llm の1つ、モデルも1つです。別のマニュアル、別の変換、弱いモデルで同じ差が出るとは書いてありません。


マニュアル、契約、規程は、1チャンクで適用条件が閉じない

財務報告書で起きた切れ方は、設備マニュアル、契約書、セキュリティ規程でも起きます。ここからの3つは、自社の正答率ではありません。1チャンクで閉じない質問の見分け方です。どの例も、該当行に加えて、条件の書いてある行を開きます。

設備マニュアルは、警報温度だけでは運転を決められない

保全の担当者が聞きます。「モーターの軸受温度が85℃になったら、運転を続けられますか。」

マニュアルの1行には「警報温度:85℃」とあります。別の章には、周囲温度が40℃以下であること、運転モードで基準が変わること、その温度が一定時間続いたら止めること、機種で基準が違うこと、が書いてあることがあります。

警報の行だけが検索に乗ると、「85℃は警報なので注意が必要です」で終わります。止めるのか、監視を強めるのかは、別の条件です。

運転の継続や停止は、誤答の被害が大きいです。回答だけで設備を動かす設計にはしません。関連する規定と、根拠の行を出し、最終判断は担当者に残します。

契約書は、違約金の条と免責を一緒に出す

法務の担当者が聞きます。「納品が遅れたら、違約金は発生しますか。」

ある条には、遅延なら所定の違約金を支払う、とあります。別の条には、天災その他の不可抗力は対象外、とあることがあります。違約金の条だけが渡ると、例外が消えます。

契約では、条を見つけることと、条を解釈することは別の作業です。検索結果には、条番号、参照先、適用条件を一緒に出します。解釈は、担当者の仕事に残します。

セキュリティ規程は、定義・例外・版を回答に残す

セキュリティ担当者が聞きます。「管理者アカウントに、多要素認証は必須ですか。」

ある章は、重要システムへのアクセスに多要素認証を適用する、と書きます。別の章が、重要システムの定義と、例外申請の手続きを書いています。1断片では、適用範囲が決まりません。

監査で要るのは、それらしい回答より、どの規程の、どの版の、どの条を見たかです。READ型の手順が残す行番号は、この確認に使えます。権限のない規程まで読める状態は、別の問題です。ツールの届く範囲は、アプリの権限で切ります。取り込み時のメタデータと権限は、【社内RAG構築】「ハルシネーション」を殺すためのデータ前処理とアーキテクチャ (応用編)にあります。ツール、認可、監査を経由させる設計は、社内Agent導入の設計書——RAG・Tools・権限・監査を中核に据えるにあります。


行読みの最小コードは、キーワード検索・目次・範囲読みの3つ

行読みを自前で試すなら、道具は3つで足ります。キーワードで行を探す、見出しを取る、指定範囲を読む。ここにあるコードは、その3つをPythonの関数にした最小例です。論文の正答率は再現しません。文書は、あらかじめテキストになっている前提です。Python 3.9以降、追加のライブラリはありません。

3つの関数の前に、文書を行番号つきで持ちます。

from pathlib import Path

text = Path("manual.txt").read_text(encoding="utf-8")
lines = text.splitlines()

lines[99] は100行目です。PDFから取るときに、ページ、表の列、見出し、脚注が落ちると、この番号は「どの数字の行か」を指せなくなります。論文が pymupdf4llm を選んだ理由は、試した変換のうち、行の見出しと数字の対応を保ったのがこれだったからです。別の変換では、30行の表が1つのセルに潰れたり、行名と数字が離れたりしています。

1つ目は、語句で探す関数です。

def keyword_search(keyword: str) -> list[dict]:
    key = keyword.casefold()
    return [
        {"line": i + 1, "text": line}
        for i, line in enumerate(lines)
        if key in line.casefold()
    ]

keyword_search("圧力") は、「圧力」を含む行と行番号を返します。単純な部分一致です。冊数とページが増えたら、この総当たりはBM25などの索引に替えます。

論文の grep は、変換で付いた強調記号や桁区切りを外した影の文字列でも照合し、返す行番号は元の文書のままです。論文の財務報告書では、桁区切りの付いた数字が14,269個ありました。モデルが 30021 と書き、本文が 30,021 のとき、上の関数は一致しません。

2つ目は、見出しです。行番号つきで渡します。

outline = [
    {"title": "第2章 測定条件", "line": 120},
    {"title": "第5章 設備運転実績", "line": 450},
    {"title": "第8章 測定方法の変更", "line": 980},
]

def get_outline() -> list[dict]:
    return outline

実運用では、PDFのしおりや見出しスタイルから作ります。変換が見出しを表の行に崩すと、この一覧は信用できません。論文の見出しなし版が、READ本線より高く見えたのは、その可能性を残す結果です。

3つ目は、範囲の読みです。

def read_lines(start: int, end: int, limit: int = 400) -> str:
    start = max(1, start)
    end = min(len(lines), end, start + limit - 1)
    return "\n".join(
        f"{i + 1}: {lines[i]}" for i in range(start - 1, end)
    )

read_lines(450, 500) は450行目から500行目です。limit は1回で渡す行数の上限です。論文の read は400行で切っています。上限がないと、モデルが文書全体を1回で読み、費用も、関係ない記述を混ぜる機会も増えます。

READになるのは、モデルが質問ごとに、どの関数をどの順で呼ぶかを決めるところからです。渡す方針は、たとえば次です。

あなたは技術文書を調べる係です。使える道具は keyword_search、get_outline、read_lines です。
質問から語句を決め、該当行を探し、必要なら見出しを見て、該当行の前後を読みます。
単位、年度、適用条件、例外、注記が別の行にないかを確認します。
足りなければ語句や範囲を変えて、もう一度呼びます。
回答には根拠の行番号を付けます。根拠が文書になければ、推測で埋めません。

本番では、この文章をツール呼び出し対応のAPIに渡し、モデルが返した呼び出しをアプリが実行し、結果を戻すループにします。回数、行数、待ち時間に上限を置きます。文書中の命令文は、利用者の指示として扱いません。読める文書の範囲は、ループの外で権限により決めます。


既存RAGは、誤答を「未検出」と「検出後の誤答」に分けて直す

誤答は、2つに分けて直します。必要な行が検索結果に無い。有るのに、答えが違う。無い方は、モデルを替えても材料が増えません。違う方は、単位の読み、計算、言い切りすぎを見ます。

版が古い回答は、検索方式の前に、更新日の管理です。根拠のない数字を書いているなら、行番号が付かない回答は出さない、という生成側の規則です。

行が無い方に先に足すのが、BM25です。論文では、キーワードの索引だけでも、この文書で得られた改善の大半は取れていた、とあります。READへ全部を替えるかは、自社の質問集で別に見ます。型番やエラーコードのように、語句が一致する質問では、意味の近さより一致の方が材料になります。「装置A-120の異常コードE045」は、その例です。

この財務報告書では、混ぜて並べ替えたハイブリッドが29.4%で、BM25単体の51.0%を下回りました。言い換えが多い社内Wikiでは、ベクトル側が残る、と論文も留保しています。自社の文書で、キーワード単体がどこまで正答するかを先に見るのが、今回の数字に沿った順番です。

エージェントは、質問を選んで使います。「装置Aの定格電圧は」のように、1か所の仕様で閉じる質問に、毎回4.8回のツール呼び出しは重いです。「周囲温度45℃で連続運転できるか」は、使用温度、時間、設置条件、例外が離れています。離れているときだけ、追加の探索にします。


PDFの表構造、API費用、閲覧権限は、検索方式より先に確認する

方式を決める前に、3つを見ます。PDFから表の行と列が残っているか。1問のAPI費用はいくらか。利用者ごとに、読める範囲はどこまでか。表の行列が崩れると、READでもBM25でも、同じ数字を別の項目として読みます。

抽出結果が次のように縦へ割れているなら、0.82が圧力なのか温度なのかは、検索式では戻りません。

圧力
0.82
0.91
温度
75
80

行、列、見出し、単位、脚注の対応を残す処理が、検索方式より先です。

費用は、正答率と並べて記録します。1問の時間、API費用、ツール回数、根拠行が合っていた割合、答えられないときに保留できた割合。READは、ベクトル検索より高く、遅いです。手順が残ることに価値がある照会なら、その費用を払う理由になります。問い合わせが多い窓口では、全問をエージェントにする費用が重くなります。

権限は、探索が広くなるほど漏れやすいです。エージェントが文書を走査できても、その利用者に見せてよい行だけをツールが返すようにします。判断はモデルに任せません。


導入する前に、4方式を同じ質問集で比べる

採用するなら、設備マニュアル20冊と、実際の問い合わせに近い100問で、BM25、ベクトル検索、ハイブリッド、行を読むエージェントを、同じ質問にかけます。論文の51問は、著者がこの方式のために作った質問です。自社の問いは、別の分布になります。

聞き方を分けると、どの方式がどの問いに強いかが見えます。

「装置Aの定格電圧はいくつですか」は、1か所で閉じます。「周囲温度45℃で使えますか」は、条件が要ります。「45℃で連続運転するとき、制限は何ですか」は、複数の箇所を合わせます。「異常コードE045が出ても、運転を続けられる条件はありますか」は、例外です。

正答率の横に、誤ったときの被害を置きます。定格電圧の1桁違いと、非常停止条件の取り違えでは、被害の大きさが違います。停止条件の誤答は、正答率の1件より重く数えた方が、運用の判断に近くなります。


埋め込みモデルより先に、答えが1チャンクで閉じるかを決める

埋め込みモデル、ベクトルデータベース、チャンクの長さは、そのあとで決めます。1チャンクで閉じるFAQなら、ベクトル検索のままで足ります。閉じない契約、財務の表、設備マニュアルは、キーワード検索、表の構造、必要なときだけの行読みを切り替えます。論文の範囲は、長く、表が多く、質問から語句を予想できる文書です。

51問が残した順番は、次です。エージェントの前に、キーワード検索で解けないかを測る。ベクトル検索の前に、表の行と単位が同じ断片に残っているかを見る。精度の前に、何を正答とするか、答えられないときに保留するかを決める。

ベクトル検索との差は、行を指定して読むと説明できました。同じ繰り返しをベクトルにやらせても、差は埋まりませんでした。BM25との差は、この実験では検出できていません。文書は1冊で、質問は作者側が足しています。

品質に入れるのは、どの行を見て、どの条件を確認し、なぜそう言ったのかを、利用者が照合できることです。製造業、制御、医療、金融、法務、セキュリティでは、保留できることも、その条件に入ります。

次に誤答を1件開くなら、その回答に渡った断片と、正解が書いてある行の距離を見てみてください。距離が離れているなら、埋め込みの入れ替えより先に、切らずに読ませる経路を、その質問だけに足す価値があります。


作成日: 2026-11-16

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?