2
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

【BEIR × Qdrant】RAG検索は“生成”より先に勝負が決まる:Dense/BM25/Hybrid/Rerankを実測で比較した話

2
Last updated at Posted at 2025-12-15

はじめに

RAG(Retrieval-Augmented Generation)は「 検索(Retrieval) してから「 生成(Generation) する」ことで、LLMの回答を“根拠つき”にしようとする仕組みです。

  • 検索(Retrieval):質問に関係しそうな文章を集める工程
  • 生成(Generation):集めた文章を材料に、LLMが回答文を作る工程

…が、作ってみるとすぐ気づきます。

RAGは“生成”より先に“検索”でほぼ勝負が決まるかも。

どれだけ良いLLMを使っても、そもそも関連情報を拾えていなければ、生成はそれっぽい作文になりがち。
逆に、検索で的確に当たり文脈を持って来れば、生成側は最小限のプロンプトでもそれなりに戦えます。

ただ、検索のやり方について調べてみると、その選択肢が多いことがわかります。

  • Dense(ベクトル検索:埋め込みベクトル同士の近さで探す検索(同義語や言い換えに強い)。)
  • BM25(キーワード検索:単語一致ベースの古典的検索(固有名詞や型番に強い)。)
  • Hybrid(DenseとBM25を組み合わせて弱点を補う方式。)
  • Rerank(候補を並び替えて上位を強くする)
  • chunkサイズ(128/256/512…)
  • chunkをdocにどう集約するか(max / sum / rrf …)
    等々..

「結局どれが効くの?速いの?遅いの?自分の条件だとどう?」

そこでこの記事では、一般公開されているBEIRの nfcorpus をデータセットとして、同じ評価指標と同じ実験枠で検索方式を切り替え、品質と速度のトレードオフを実測しました。


前提(今回の検証条件)

本記事では、RAG(Retrieval-Augmented Generation: 検索で根拠を集めてからLLMで回答する方式)のうち、まず「検索(Retrieval)」部分の挙動差を比較するために、BEIRデータセット上で複数の検索手法・集約手法を同一条件で評価した。

検証対象

  • データセット:BEIR / nfcorpus(test split)
  • 評価クエリ数:300
  • 評価指標:Recall@10 / MRR@10 / nDCG@10
  • 返却する最終文書数:top_k_docs=10
  • ベクトル検索で拾うチャンク数:top_k_chunks(実験により可変、主に10/20/50/100)
  • チャンクサイズ:長い文書を検索しやすいサイズに切った断片のサイズ: 128 / 256 / 512 を実験により可変にして比較
  • チャンク重複:chunk_overlap=64(※コード側の設定に合わせる。今回のノートブックは overlap を使わない実装もあるため、実際の実験設定を優先)

Indexing(インデックス作成)の前処理・埋め込み

前処理・埋め込みは同じ条件とする。

  • 前処理(preprocess)
    • Unicode正規化(NFKC)
    • HTML除去
    • 空白正規化
  • チャンク分割(chunking)
    • fixed window(固定長)方式
    • パラメータ:chunk_size / overlap
  • 埋め込み(Embedding):文章を意味の近さで比較できる数値ベクトルに変換すること
    • sentence-transformers/all-MiniLM-L6-v2
    • 埋め込み次元:モデルの次元(get_sentence_embedding_dimension())

ベクトルDB

ベクトルDBも内容次第では検索精度に差分ができると思いますが、今回は検索手法での比較をしたいため、以下の条件で固定します。

  • Vector DB:Qdrant
  • 1チャンク = 1ベクトルとして upsert
  • payload には以下を格納
    • doc_id(元文書ID)
    • chunk_id(文書内のチャンク番号)
    • text(チャンク本文)

検証のための環境構成(ローカルで再現可能な形)

今回の検証は「ローカルPC + Docker ComposeでQdrantを立てる」構成を前提とし、RAG評価のコード(JupyterNotebook/Python)はホスト側で動かし、Qdrantはコンテナとして動かす。

全体アーキテクチャ

  • ホスト(ローカルPC)
    • Jupyter Notebook(実験コード実行)
    • Python(BEIR取得、前処理、埋め込み、検索、評価)
  • Docker(コンテナ)
    • Qdrant(ベクトルDB)

全体フロー(Mermaid)

検証する前に、実際のフローについて補足しておきます。

Indexing(オフライン)

まずはinputとなるコンテキスト(BEIR)を実際にベクトル化してQdrantへupsertするまでの処理フローです。


Query(オンライン)

次に、実際にQdrantを利用して検索をするときのフローです。検索の手法によって処理のフローが異なります。

  1. method = Dense(ベクトル検索だけ)
    • Denseは埋め込みベクトル同士の近さで探す検索の手法になります。
  2. method = BM25(キーワード検索だけ)
    • BM25は単語一致ベースの古典的検索手法になります。
  3. method = Hybrid(Dense + BM25 を融合)
    • Hybrid(今回はDenseとBM25を組み合わせる)の検索手法になります。
  4. method = Dense + ReRank
    • Dense(ベクトル検索)で候補を出し、その候補から再スコアリンクする手法になります。

評価指標

検索評価の王道3点セットを採用。

  • Recall@10:正解docを上位10件でどれだけ拾えたか(網羅性)
  • MRR@10:最初に正解docが出てくる順位(“当たりが上に来る力”)
  • nDCG@10:関連度(rel)も加味したランキング品質(順位の良さ)

さらに、実運用目線で時間も分解。

  • embed_ms_avg:クエリ埋め込み時間
  • search_ms_avg:検索時間(Qdrant / BM25)
  • rerank_ms_avg:再ランキング時間
  • total_ms_avg:合計時間

結果(Dense/BM25/Hybrid/Rerank)

dataset collection method top_k_docs top_k_chunks n_queries recall@10 mrr@10 ndcg@10 search_ms_avg total_ms_avg
nfcorpus beir_nfcorpus_cs128 dense 10 50 300 0.144344 0.465835 0.291346 29.267227 29.267227
nfcorpus beir_nfcorpus_cs128 bm25 10 50 300 0.096931 0.380943 0.214628 17.072604 17.072604
nfcorpus beir_nfcorpus_cs128 hybrid_rrf 10 50 300 0.143327 0.501947 0.292329 43.793785 43.793785
nfcorpus beir_nfcorpus_cs128 dense_rerank 10 50 300 0.156638 0.550716 0.345376 3134.077909 3134.077909
nfcorpus beir_nfcorpus_cs512 dense 10 50 300 0.154875 0.513431 0.321809 33.544299 33.544299
nfcorpus beir_nfcorpus_cs512 bm25 10 50 300 0.100692 0.386739 0.221712 4.684513 4.684513
nfcorpus beir_nfcorpus_cs512 hybrid_rrf 10 50 300 0.138362 0.506679 0.297405 35.281416 35.281416
nfcorpus beir_nfcorpus_cs512 dense_rerank 10 50 300 0.152606 0.569438 0.343861 8354.979479 8354.979479

結果の考察(Dense / BM25 / Hybrid / Dense Rerank)

まず読み取れるのは、「精度を取りにいくほど、計算コストが爆発する」というRAGあるあるが、数値で綺麗に可視化された点です。

1) Dense は“安定して強い”が、チャンク設計の影響を受ける

  • cs512 dense は recall@10=0.1549 / ndcg@10=0.3218 と、今回の結果では最もバランスが良い部類です。
  • 一方で cs128 dense は recall@10=0.1443 / ndcg@10=0.2913 と落ちています。

つまり 「Dense検索は、チャンクが短すぎると文脈が欠け、長すぎるとノイズが混ざる」というトレードオフを強く受ける ことが示唆されます。今回のNFcorpusでは、少なくともベースラインの範囲では cs512 のほうが“検索単位として”相性が良かった可能性が高いです。

2) BM25 は速いが、精度面で頭打ちになりやすい

  • bm25 は search_ms_avg が軽く、特に cs512 では 4.68ms と非常に速いです。
  • ただし精度は recall@10=0.0969〜0.1007、ndcg@10=0.2146〜0.2217 と、Denseに大きく劣ります。

NFcorpusのように“意味の近さ”が重要になりやすいタスクでは、単語一致ベース(BM25)は速さの代わりに取りこぼしが増える という構図が見えます。

3) Hybrid(RRF)は「片方の弱点を埋める」枠だが、デフォルト設定では伸び切らない

  • cs128 hybrid_rrf は mrr@10 が 0.5019 とDenseより上がっており、“上位の並び替え”には効いていそうです。
  • ただし cs512 hybrid_rrf は recall@10 が 0.1384 とDenseより下がっています。

これは 「Hybridは混ぜ方次第で強くも弱くもなる」 を示しています。RRFの k や、Dense/BM25の寄与(重み)を調整しないと、単純に混ぜただけでは“Dense単体を超えない/超えにくい”パターンが起きます。

4) Dense Rerank は精度が伸びるが、現状の設定だと“重すぎて実用圏外”

  • dense_rerank は ndcg@10 が 0.343〜0.345 と最強クラスです(上位品質が上がるのは納得)。
  • しかし search_ms_avg が cs128: 3134ms / cs512: 8355ms と、桁が違います。

この数字は、「Rerankの対象数(何件を再ランキングするか)」や「Rerankモデルの選び方」が、コストの支配要因になっている ことを示唆します。つまり今のままだと“精度のご褒美”はあるけど、レイテンシが致命傷になりやすい。


上記の比較だけでも方向性は見えますが、まだ「どのレバーを動かすと、どれだけ改善するか」が分かりません。そこで以下理由により追加検証を行いました。

  1. Dense Rerank の“重さ”は設計で減らせる可能性が高いから
    rerank対象数(例: top_k_chunks / rerank_top_k)を振るだけで、精度の維持と速度改善の“ちょうどいい落とし所”が見つかる可能性があります。
    今の結果は「強いけど遅い」までしか言っておらず、実運用に落とすには“軽くする設計”の探索が必須です。

  2. Hybridは“混ぜ方チューニング”で化けるから
    今回 cs512 ではDenseに負けていますが、RRFの k や Dense/BM25 の寄与の調整で、Denseの取りこぼしをBM25で拾いつつ、上位品質も守る という形に寄せられる余地があります。
    ベースラインのHybridは、言うなれば「デフォルトの合成味」です。味付けを変えないと、良さが出ないことが多いです。

  3. top_k_chunks は“品質と時間の壁”を見つけるための重要ノブだから
    DenseやHybridの検索は、候補を広げる(top_k_chunksを増やす)と recall が上がることがありますが、ある地点から伸びが鈍り、時間だけ増える“頭打ちゾーン”に入ります。
    ここを定量化すると「この範囲ならコスパが良い」という運用上の意思決定ができます。


追加で検証した観察ポイントと結果

① Rerankを軽くする(rerank対象数を振る)

  • rerank対象数(ce@10など):再ランキングに回す候補doc数
    例:ce@10 は上位10docだけCrossEncoderで再採点

結果は以下の通りになります。

method recall@10 mrr@10 ndcg@10 embed_ms_avg search_ms_avg rerank_ms_avg total_ms_avg
dense_rerank_ce@10 0.154818 0.544364 0.335328 41.857 12.602 1378.136 1432.607
dense_rerank_ce@20 0.151146 0.552905 0.338324 51.607 15.352 3095.644 3162.623
dense_rerank_ce@50 0.152606 0.569438 0.343861 83.293 34.221 9101.619 9219.169

考察

  • rerank対象数を増やすほど、MRR/nDCGは伸びる(上位が整う)
  • でもコストが重い(秒の世界)
  • Recallは大きくは伸びにくい(拾えてないものは拾えない)

② Hybrid RRFをチューニング(k・重み)

  • RRFのk:ランキングの“上位偏重度”を調整するパラメータ
    小さいほど上位が強く効き、大きいほどフラットに近づく
  • 重み(wd, wb):Dense側、BM25側の寄与を調整する係数

結果は以下の通りになります。

method recall@10 mrr@10 ndcg@10
hybrid_rrf(k=10,wd=1.0,wb=1.0) 0.144481 0.498557 0.300627
hybrid_rrf(k=10,wd=2.0,wb=1.0) 0.158498 0.525582 0.327632
hybrid_rrf(k=10,wd=1.0,wb=2.0) 0.112754 0.440754 0.250750

考察

  • Dense寄り(wd=2, wb=1)が一番良い
  • BM25を強くしすぎると悪化するケースあり(nfcorpusでは)

③ top_k_chunksを振る(どこから伸びが鈍るか)

  • top_k_chunks:Qdrantから取ってくるチャンク数
    多いほど候補は増えるが、後段が重くなる

結果は以下の通りになります。

top_k_chunks recall@10 mrr@10 ndcg@10 embed_ms_avg search_ms_avg total_ms_avg
10 0.154818 0.514542 0.321808 20.864 4.449 25.313
20 0.154875 0.514542 0.322044 21.029 5.105 26.134
50 0.154875 0.513431 0.321809 19.201 6.891 26.092
100 0.154875 0.513431 0.321853 19.758 10.136 29.894

考察

  • 10でほぼ頭打ち(品質ほぼ変わらない)
  • なのに速度は悪化する
    → “何となく50” が無駄になりがち

④ chunk→doc集約(agg)を比較(max/sum/topm_sum/rrf)

  • chunk→doc集約(aggregation):チャンク検索の結果を、文書(doc)順位に直す工程
    チャンク単位で当たっても「docとしてどれが良いか」は別問題になるため必要

集約方法の意味:

  • max:doc内で一番強いchunkを代表にする(定番)
  • sum:当たりchunkが複数あるdocを強くする
  • topm_sum:上位m個だけ合算(ノイズを抑えたい)
  • rrf:順位情報で合成(スコアの尺度が怪しい時に便利)

結果の抜粋(cs512):

  • dense|agg=max total 32.07ms
  • dense|agg=sum total 27.85ms(Recall/MRR/nDCGほぼ同等)
  • hybrid_rrf|agg=... は agg差は小さめ(重み・kのほうが効く印象)
  • doc_rerank_ce|... は nDCGが伸びるが rerankが 1.3〜1.5秒級

考察:今回のデータが示すこと

1) nfcorpusではDenseが強い。Hybridは「混ぜれば勝つ」ではなく「混ぜ方」が重要

  • wdを上げたら recall@10 が 0.158 まで上がった
  • wb(BM25重み)を上げると悪化するケースが出た
    → 「Hybrid=正義」ではなく「Hybrid=調合」

2) top_k_chunksは“増やせば良い”とは限らない

  • 10→100で品質がほぼ不変
    → 候補数の増加は、回収よりもコスト増になりがち
    → まずはchunk設計・埋め込み・集約を見直したほうが効くことがある

3) RerankはMRR/nDCGを押し上げるが、コストの扱いが主戦場

  • ce@10でも1.4秒
  • ce@50は9秒
    → 本番では「常時rerank」より「条件付きrerank」や「軽量rerank」が現実的

4) chunk→doc集約は“地味に効く”し、“地味に速さにも効く”

今回のcs512では sum が速くて同等品質に近い結果
→ 実装コストが低い割に、効く可能性が高い部品


最後に(もし今回のケースからプロダクトに落とすなら、、)

今回のケースでもしプロダクト利用に適用するとしたら、条件次第で以下のようなケースが考えられると思います。

梅(最小構成・速い)

  • Dense(Qdrant)
  • top_k_chunks=10
  • agg=sum(or max)
  • 生成は短いRAGプロンプトで十分

竹(上位品質を整える)

  • Dense + BM25
  • Hybrid(RRF)
  • 重みは Dense寄り(今回なら wd>wb)

松(品質の天井を上げるが、コスト管理が必須)

  • 条件付きRerank(難しいクエリだけ、僅差だけ、有料だけ、など)
  • rerank対象は小さく(ce@10〜20から)
  • キャッシュ戦略もセットで

注意点

今回の検証は以下の前提で行なっているため、必ずしも上記が全てのケースで必須となるわけではありません。

  • データセット依存(nfcorpus特性)
  • Embeddingモデル固定(変えたら結論も動く)
  • BM25の実装・対象(doc全文/チャンク)で変わる
  • 生成品質(Faithfulness/正確性)は今回は主題外(別途評価が必要)

コピペ用:実験コードの骨格(最小)

chunk→doc集約

from collections import defaultdict

def aggregate_chunks_to_docs(points, agg="max", topm=3, rrf_k=60):
    """
    points: List of Qdrant points (payload: doc_id, score)
    agg: "max" | "sum" | "topm_sum" | "rrf"
    """
    doc_scores = defaultdict(float)

    if agg == "max":
        for p in points:
            d = p.payload["doc_id"]
            doc_scores[d] = max(doc_scores[d], p.score)

    elif agg == "sum":
        for p in points:
            d = p.payload["doc_id"]
            doc_scores[d] += p.score

    elif agg == "topm_sum":
        tmp = defaultdict(list)
        for p in points:
            tmp[p.payload["doc_id"]].append(p.score)
        for d, scores in tmp.items():
            scores.sort(reverse=True)
            doc_scores[d] = sum(scores[:topm])

    elif agg == "rrf":
        tmp_rank = defaultdict(lambda: 10**9)
        for rank, p in enumerate(points, start=1):
            d = p.payload["doc_id"]
            tmp_rank[d] = min(tmp_rank[d], rank)  # best rank for that doc
        for d, r in tmp_rank.items():
            doc_scores[d] = 1.0 / (rrf_k + r)

    else:
        raise ValueError(agg)

    ranked_docs = [d for d, _ in sorted(doc_scores.items(), key=lambda x: x[1], reverse=True)]
    return ranked_docs

RRF(Dense順位×BM25順位)

from collections import defaultdict

def rrf_fusion(rank_a, rank_b, k=60, w_a=1.0, w_b=1.0):
    """
    rank_a/rank_b: List[doc_id] ranked
    """
    score = defaultdict(float)
    for r, d in enumerate(rank_a, start=1):
        score[d] += w_a * (1.0 / (k + r))
    for r, d in enumerate(rank_b, start=1):
        score[d] += w_b * (1.0 / (k + r))
    return [d for d, _ in sorted(score.items(), key=lambda x: x[1], reverse=True)]

その他はGithub参照ください。

2
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
2
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?