はじめに
RAG(Retrieval-Augmented Generation)は「 検索(Retrieval) してから「 生成(Generation) する」ことで、LLMの回答を“根拠つき”にしようとする仕組みです。
- 検索(Retrieval):質問に関係しそうな文章を集める工程
- 生成(Generation):集めた文章を材料に、LLMが回答文を作る工程
…が、作ってみるとすぐ気づきます。
RAGは“生成”より先に“検索”でほぼ勝負が決まるかも。
どれだけ良いLLMを使っても、そもそも関連情報を拾えていなければ、生成はそれっぽい作文になりがち。
逆に、検索で的確に当たり文脈を持って来れば、生成側は最小限のプロンプトでもそれなりに戦えます。
ただ、検索のやり方について調べてみると、その選択肢が多いことがわかります。
- Dense(ベクトル検索:埋め込みベクトル同士の近さで探す検索(同義語や言い換えに強い)。)
- BM25(キーワード検索:単語一致ベースの古典的検索(固有名詞や型番に強い)。)
- Hybrid(DenseとBM25を組み合わせて弱点を補う方式。)
- Rerank(候補を並び替えて上位を強くする)
- chunkサイズ(128/256/512…)
- chunkをdocにどう集約するか(max / sum / rrf …)
等々..
「結局どれが効くの?速いの?遅いの?自分の条件だとどう?」
そこでこの記事では、一般公開されているBEIRの nfcorpus をデータセットとして、同じ評価指標と同じ実験枠で検索方式を切り替え、品質と速度のトレードオフを実測しました。
前提(今回の検証条件)
本記事では、RAG(Retrieval-Augmented Generation: 検索で根拠を集めてからLLMで回答する方式)のうち、まず「検索(Retrieval)」部分の挙動差を比較するために、BEIRデータセット上で複数の検索手法・集約手法を同一条件で評価した。
検証対象
- データセット:BEIR / nfcorpus(test split)
- 評価クエリ数:300
- 評価指標:Recall@10 / MRR@10 / nDCG@10
- 返却する最終文書数:top_k_docs=10
- ベクトル検索で拾うチャンク数:top_k_chunks(実験により可変、主に10/20/50/100)
- チャンクサイズ:長い文書を検索しやすいサイズに切った断片のサイズ: 128 / 256 / 512 を実験により可変にして比較
- チャンク重複:chunk_overlap=64(※コード側の設定に合わせる。今回のノートブックは overlap を使わない実装もあるため、実際の実験設定を優先)
Indexing(インデックス作成)の前処理・埋め込み
前処理・埋め込みは同じ条件とする。
- 前処理(preprocess)
- Unicode正規化(NFKC)
- HTML除去
- 空白正規化
- チャンク分割(chunking)
- fixed window(固定長)方式
- パラメータ:chunk_size / overlap
- 埋め込み(Embedding):文章を意味の近さで比較できる数値ベクトルに変換すること
sentence-transformers/all-MiniLM-L6-v2- 埋め込み次元:モデルの次元(
get_sentence_embedding_dimension())
ベクトルDB
ベクトルDBも内容次第では検索精度に差分ができると思いますが、今回は検索手法での比較をしたいため、以下の条件で固定します。
- Vector DB:Qdrant
- 1チャンク = 1ベクトルとして
upsert - payload には以下を格納
-
doc_id(元文書ID) -
chunk_id(文書内のチャンク番号) -
text(チャンク本文)
-
検証のための環境構成(ローカルで再現可能な形)
今回の検証は「ローカルPC + Docker ComposeでQdrantを立てる」構成を前提とし、RAG評価のコード(JupyterNotebook/Python)はホスト側で動かし、Qdrantはコンテナとして動かす。
全体アーキテクチャ
- ホスト(ローカルPC)
- Jupyter Notebook(実験コード実行)
- Python(BEIR取得、前処理、埋め込み、検索、評価)
- Docker(コンテナ)
- Qdrant(ベクトルDB)
全体フロー(Mermaid)
検証する前に、実際のフローについて補足しておきます。
Indexing(オフライン)
まずはinputとなるコンテキスト(BEIR)を実際にベクトル化してQdrantへupsertするまでの処理フローです。
Query(オンライン)
次に、実際にQdrantを利用して検索をするときのフローです。検索の手法によって処理のフローが異なります。
- method = Dense(ベクトル検索だけ)
- Denseは埋め込みベクトル同士の近さで探す検索の手法になります。
- method = BM25(キーワード検索だけ)
- BM25は単語一致ベースの古典的検索手法になります。
- method = Hybrid(Dense + BM25 を融合)
- Hybrid(今回はDenseとBM25を組み合わせる)の検索手法になります。
- method = Dense + ReRank
- Dense(ベクトル検索)で候補を出し、その候補から再スコアリンクする手法になります。
評価指標
検索評価の王道3点セットを採用。
- Recall@10:正解docを上位10件でどれだけ拾えたか(網羅性)
- MRR@10:最初に正解docが出てくる順位(“当たりが上に来る力”)
- nDCG@10:関連度(rel)も加味したランキング品質(順位の良さ)
さらに、実運用目線で時間も分解。
-
embed_ms_avg:クエリ埋め込み時間 -
search_ms_avg:検索時間(Qdrant / BM25) -
rerank_ms_avg:再ランキング時間 -
total_ms_avg:合計時間
結果(Dense/BM25/Hybrid/Rerank)
| dataset | collection | method | top_k_docs | top_k_chunks | n_queries | recall@10 | mrr@10 | ndcg@10 | search_ms_avg | total_ms_avg |
|---|---|---|---|---|---|---|---|---|---|---|
| nfcorpus | beir_nfcorpus_cs128 | dense | 10 | 50 | 300 | 0.144344 | 0.465835 | 0.291346 | 29.267227 | 29.267227 |
| nfcorpus | beir_nfcorpus_cs128 | bm25 | 10 | 50 | 300 | 0.096931 | 0.380943 | 0.214628 | 17.072604 | 17.072604 |
| nfcorpus | beir_nfcorpus_cs128 | hybrid_rrf | 10 | 50 | 300 | 0.143327 | 0.501947 | 0.292329 | 43.793785 | 43.793785 |
| nfcorpus | beir_nfcorpus_cs128 | dense_rerank | 10 | 50 | 300 | 0.156638 | 0.550716 | 0.345376 | 3134.077909 | 3134.077909 |
| nfcorpus | beir_nfcorpus_cs512 | dense | 10 | 50 | 300 | 0.154875 | 0.513431 | 0.321809 | 33.544299 | 33.544299 |
| nfcorpus | beir_nfcorpus_cs512 | bm25 | 10 | 50 | 300 | 0.100692 | 0.386739 | 0.221712 | 4.684513 | 4.684513 |
| nfcorpus | beir_nfcorpus_cs512 | hybrid_rrf | 10 | 50 | 300 | 0.138362 | 0.506679 | 0.297405 | 35.281416 | 35.281416 |
| nfcorpus | beir_nfcorpus_cs512 | dense_rerank | 10 | 50 | 300 | 0.152606 | 0.569438 | 0.343861 | 8354.979479 | 8354.979479 |
結果の考察(Dense / BM25 / Hybrid / Dense Rerank)
まず読み取れるのは、「精度を取りにいくほど、計算コストが爆発する」というRAGあるあるが、数値で綺麗に可視化された点です。
1) Dense は“安定して強い”が、チャンク設計の影響を受ける
-
cs512 denseはrecall@10=0.1549 / ndcg@10=0.3218と、今回の結果では最もバランスが良い部類です。 - 一方で
cs128 denseはrecall@10=0.1443 / ndcg@10=0.2913と落ちています。
つまり 「Dense検索は、チャンクが短すぎると文脈が欠け、長すぎるとノイズが混ざる」というトレードオフを強く受ける ことが示唆されます。今回のNFcorpusでは、少なくともベースラインの範囲では cs512 のほうが“検索単位として”相性が良かった可能性が高いです。
2) BM25 は速いが、精度面で頭打ちになりやすい
-
bm25はsearch_ms_avgが軽く、特にcs512では4.68msと非常に速いです。 - ただし精度は
recall@10=0.0969〜0.1007、ndcg@10=0.2146〜0.2217と、Denseに大きく劣ります。
NFcorpusのように“意味の近さ”が重要になりやすいタスクでは、単語一致ベース(BM25)は速さの代わりに取りこぼしが増える という構図が見えます。
3) Hybrid(RRF)は「片方の弱点を埋める」枠だが、デフォルト設定では伸び切らない
-
cs128 hybrid_rrfはmrr@10が0.5019とDenseより上がっており、“上位の並び替え”には効いていそうです。 - ただし
cs512 hybrid_rrfはrecall@10が0.1384とDenseより下がっています。
これは 「Hybridは混ぜ方次第で強くも弱くもなる」 を示しています。RRFの k や、Dense/BM25の寄与(重み)を調整しないと、単純に混ぜただけでは“Dense単体を超えない/超えにくい”パターンが起きます。
4) Dense Rerank は精度が伸びるが、現状の設定だと“重すぎて実用圏外”
-
dense_rerankはndcg@10が0.343〜0.345と最強クラスです(上位品質が上がるのは納得)。 - しかし
search_ms_avgがcs128: 3134ms / cs512: 8355msと、桁が違います。
この数字は、「Rerankの対象数(何件を再ランキングするか)」や「Rerankモデルの選び方」が、コストの支配要因になっている ことを示唆します。つまり今のままだと“精度のご褒美”はあるけど、レイテンシが致命傷になりやすい。
上記の比較だけでも方向性は見えますが、まだ「どのレバーを動かすと、どれだけ改善するか」が分かりません。そこで以下理由により追加検証を行いました。
-
Dense Rerank の“重さ”は設計で減らせる可能性が高いから
rerank対象数(例: top_k_chunks / rerank_top_k)を振るだけで、精度の維持と速度改善の“ちょうどいい落とし所”が見つかる可能性があります。
今の結果は「強いけど遅い」までしか言っておらず、実運用に落とすには“軽くする設計”の探索が必須です。 -
Hybridは“混ぜ方チューニング”で化けるから
今回cs512ではDenseに負けていますが、RRFのkや Dense/BM25 の寄与の調整で、Denseの取りこぼしをBM25で拾いつつ、上位品質も守る という形に寄せられる余地があります。
ベースラインのHybridは、言うなれば「デフォルトの合成味」です。味付けを変えないと、良さが出ないことが多いです。 -
top_k_chunks は“品質と時間の壁”を見つけるための重要ノブだから
DenseやHybridの検索は、候補を広げる(top_k_chunksを増やす)と recall が上がることがありますが、ある地点から伸びが鈍り、時間だけ増える“頭打ちゾーン”に入ります。
ここを定量化すると「この範囲ならコスパが良い」という運用上の意思決定ができます。
追加で検証した観察ポイントと結果
① Rerankを軽くする(rerank対象数を振る)
-
rerank対象数(ce@10など):再ランキングに回す候補doc数
例:ce@10は上位10docだけCrossEncoderで再採点
結果は以下の通りになります。
| method | recall@10 | mrr@10 | ndcg@10 | embed_ms_avg | search_ms_avg | rerank_ms_avg | total_ms_avg |
|---|---|---|---|---|---|---|---|
| dense_rerank_ce@10 | 0.154818 | 0.544364 | 0.335328 | 41.857 | 12.602 | 1378.136 | 1432.607 |
| dense_rerank_ce@20 | 0.151146 | 0.552905 | 0.338324 | 51.607 | 15.352 | 3095.644 | 3162.623 |
| dense_rerank_ce@50 | 0.152606 | 0.569438 | 0.343861 | 83.293 | 34.221 | 9101.619 | 9219.169 |
考察
- rerank対象数を増やすほど、MRR/nDCGは伸びる(上位が整う)
- でもコストが重い(秒の世界)
- Recallは大きくは伸びにくい(拾えてないものは拾えない)
② Hybrid RRFをチューニング(k・重み)
-
RRFのk:ランキングの“上位偏重度”を調整するパラメータ
小さいほど上位が強く効き、大きいほどフラットに近づく - 重み(wd, wb):Dense側、BM25側の寄与を調整する係数
結果は以下の通りになります。
| method | recall@10 | mrr@10 | ndcg@10 |
|---|---|---|---|
| hybrid_rrf(k=10,wd=1.0,wb=1.0) | 0.144481 | 0.498557 | 0.300627 |
| hybrid_rrf(k=10,wd=2.0,wb=1.0) | 0.158498 | 0.525582 | 0.327632 |
| hybrid_rrf(k=10,wd=1.0,wb=2.0) | 0.112754 | 0.440754 | 0.250750 |
考察
- Dense寄り(wd=2, wb=1)が一番良い
- BM25を強くしすぎると悪化するケースあり(nfcorpusでは)
③ top_k_chunksを振る(どこから伸びが鈍るか)
-
top_k_chunks:Qdrantから取ってくるチャンク数
多いほど候補は増えるが、後段が重くなる
結果は以下の通りになります。
| top_k_chunks | recall@10 | mrr@10 | ndcg@10 | embed_ms_avg | search_ms_avg | total_ms_avg |
|---|---|---|---|---|---|---|
| 10 | 0.154818 | 0.514542 | 0.321808 | 20.864 | 4.449 | 25.313 |
| 20 | 0.154875 | 0.514542 | 0.322044 | 21.029 | 5.105 | 26.134 |
| 50 | 0.154875 | 0.513431 | 0.321809 | 19.201 | 6.891 | 26.092 |
| 100 | 0.154875 | 0.513431 | 0.321853 | 19.758 | 10.136 | 29.894 |
考察
- 10でほぼ頭打ち(品質ほぼ変わらない)
- なのに速度は悪化する
→ “何となく50” が無駄になりがち
④ chunk→doc集約(agg)を比較(max/sum/topm_sum/rrf)
-
chunk→doc集約(aggregation):チャンク検索の結果を、文書(doc)順位に直す工程
チャンク単位で当たっても「docとしてどれが良いか」は別問題になるため必要
集約方法の意味:
-
max:doc内で一番強いchunkを代表にする(定番) -
sum:当たりchunkが複数あるdocを強くする -
topm_sum:上位m個だけ合算(ノイズを抑えたい) -
rrf:順位情報で合成(スコアの尺度が怪しい時に便利)
結果の抜粋(cs512):
-
dense|agg=maxtotal 32.07ms -
dense|agg=sumtotal 27.85ms(Recall/MRR/nDCGほぼ同等) -
hybrid_rrf|agg=...は agg差は小さめ(重み・kのほうが効く印象) -
doc_rerank_ce|...は nDCGが伸びるが rerankが 1.3〜1.5秒級
考察:今回のデータが示すこと
1) nfcorpusではDenseが強い。Hybridは「混ぜれば勝つ」ではなく「混ぜ方」が重要
- wdを上げたら recall@10 が 0.158 まで上がった
- wb(BM25重み)を上げると悪化するケースが出た
→ 「Hybrid=正義」ではなく「Hybrid=調合」
2) top_k_chunksは“増やせば良い”とは限らない
- 10→100で品質がほぼ不変
→ 候補数の増加は、回収よりもコスト増になりがち
→ まずはchunk設計・埋め込み・集約を見直したほうが効くことがある
3) RerankはMRR/nDCGを押し上げるが、コストの扱いが主戦場
- ce@10でも1.4秒
- ce@50は9秒
→ 本番では「常時rerank」より「条件付きrerank」や「軽量rerank」が現実的
4) chunk→doc集約は“地味に効く”し、“地味に速さにも効く”
今回のcs512では sum が速くて同等品質に近い結果
→ 実装コストが低い割に、効く可能性が高い部品
最後に(もし今回のケースからプロダクトに落とすなら、、)
今回のケースでもしプロダクト利用に適用するとしたら、条件次第で以下のようなケースが考えられると思います。
梅(最小構成・速い)
- Dense(Qdrant)
- top_k_chunks=10
- agg=sum(or max)
- 生成は短いRAGプロンプトで十分
竹(上位品質を整える)
- Dense + BM25
- Hybrid(RRF)
- 重みは Dense寄り(今回なら wd>wb)
松(品質の天井を上げるが、コスト管理が必須)
- 条件付きRerank(難しいクエリだけ、僅差だけ、有料だけ、など)
- rerank対象は小さく(ce@10〜20から)
- キャッシュ戦略もセットで
注意点
今回の検証は以下の前提で行なっているため、必ずしも上記が全てのケースで必須となるわけではありません。
- データセット依存(nfcorpus特性)
- Embeddingモデル固定(変えたら結論も動く)
- BM25の実装・対象(doc全文/チャンク)で変わる
- 生成品質(Faithfulness/正確性)は今回は主題外(別途評価が必要)
コピペ用:実験コードの骨格(最小)
chunk→doc集約
from collections import defaultdict
def aggregate_chunks_to_docs(points, agg="max", topm=3, rrf_k=60):
"""
points: List of Qdrant points (payload: doc_id, score)
agg: "max" | "sum" | "topm_sum" | "rrf"
"""
doc_scores = defaultdict(float)
if agg == "max":
for p in points:
d = p.payload["doc_id"]
doc_scores[d] = max(doc_scores[d], p.score)
elif agg == "sum":
for p in points:
d = p.payload["doc_id"]
doc_scores[d] += p.score
elif agg == "topm_sum":
tmp = defaultdict(list)
for p in points:
tmp[p.payload["doc_id"]].append(p.score)
for d, scores in tmp.items():
scores.sort(reverse=True)
doc_scores[d] = sum(scores[:topm])
elif agg == "rrf":
tmp_rank = defaultdict(lambda: 10**9)
for rank, p in enumerate(points, start=1):
d = p.payload["doc_id"]
tmp_rank[d] = min(tmp_rank[d], rank) # best rank for that doc
for d, r in tmp_rank.items():
doc_scores[d] = 1.0 / (rrf_k + r)
else:
raise ValueError(agg)
ranked_docs = [d for d, _ in sorted(doc_scores.items(), key=lambda x: x[1], reverse=True)]
return ranked_docs
RRF(Dense順位×BM25順位)
from collections import defaultdict
def rrf_fusion(rank_a, rank_b, k=60, w_a=1.0, w_b=1.0):
"""
rank_a/rank_b: List[doc_id] ranked
"""
score = defaultdict(float)
for r, d in enumerate(rank_a, start=1):
score[d] += w_a * (1.0 / (k + r))
for r, d in enumerate(rank_b, start=1):
score[d] += w_b * (1.0 / (k + r))
return [d for d, _ in sorted(score.items(), key=lambda x: x[1], reverse=True)]
その他はGithub参照ください。