RAGやセマンティック検索の解説では「ベクトル検索」という言葉が頻出するが、埋め込みで数値化したあと、実際にどうやって「近い文書」を見つけているのかが見えにくい。
この記事は、ベクトル検索の全体像と、代表的な類似度指標であるコサイン類似度を、初心者向けに整理する。
訂正(2026-10-10):ANNが「99%以上のケースで十分」という未根拠の一般化を撤回した。類似度の分布・閾値もモデルとデータに依存するため、固定値を推奨する記述を修正した。以下のANN評価手順は設計例であり、本記事ではDBの検索性能やRAG回答品質を実測していない。
結論:ベクトル検索は「意味の近さで探す検索」
| 観点 | 内容 |
|---|---|
| 定義 | テキストを埋め込みベクトルに変換し、クエリベクトルに近いベクトルを高速に探す検索方式 |
| 従来検索との違い | キーワード一致ではなく、意味の類似性でヒットする |
| 核心の計算 | ベクトル間の距離・類似度(コサイン類似度など) |
| 典型用途 | RAGの検索ステップ、FAQ検索、重複文書検出、レコメンド |
| 覚え方 | 単語の一致に加え、埋め込み空間での近さから候補を探す |
ポイント:ベクトル検索は単体の魔法ではない。事前にドキュメントを埋め込み化してベクトルDBに保存し、検索時にクエリも同じモデルで埋め込む——この2段階がセットだ。
ベクトル検索とは何か
ベクトル検索(vector search / similarity search)とは、高次元ベクトル空間の中で、クエリに最も近いベクトルを探し出す処理だ。
従来の全文検索(キーワード検索)との違いを表にまとめる。
| 方式 | マッチの基準 | 例:「退勤手順を教えて」 |
|---|---|---|
| キーワード検索 | 単語の一致・出現頻度 | 「退勤」「手順」が含まれる文書をヒット |
| ベクトル検索 | ベクトル空間上の距離 | 「業務終了時のチェックリスト」もヒットしうる |
キーワードが完全一致しなくても、意味が近ければ検索結果に現れる。RAGで「ユーザーの自然文の質問」から関連ドキュメントを引くとき、この性質が重要になる。
ベクトル検索の流れ(全体像)
[インデックス構築(オフライン)]
ドキュメント群
→ チャンク分割
→ 各チャンクを埋め込みモデルでベクトル化
→ ベクトルDBに保存(ベクトル + メタデータ + 元テキスト)
[検索(オンライン)]
ユーザーの質問
→ 同じ埋め込みモデルでベクトル化
→ ベクトルDBで類似ベクトルを検索(Top-K)
→ 上位K件の元テキストを取得
→ LLMのコンテキストに渡す(RAGの場合)
| フェーズ | やること | 注意点 |
|---|---|---|
| インデックス構築 | 全チャンクをベクトル化して保存 | モデルと次元数を記録しておく |
| 検索 | 総当たり、またはANNで近いベクトルを探す | インデックス時と同じモデル・対応する入力形式を使う |
| 結果の利用 | 上位K件をLLMに渡す | 閾値以下は除外する設計も有効 |
類似度の計算:コサイン類似度を中心に
2つのベクトルが「どれだけ近いか」を数値化する指標を類似度メトリックという。代表的な指標の一つが**コサイン類似度(cosine similarity)**だ。
コサイン類似度とは
コサイン類似度は、2つのベクトルがなす角度のコサイン値を取る指標だ。
cosine_similarity(A, B) = (A · B) / (|A| × |B|)
A · B : ベクトルAとBの内積(各要素の積の総和)
|A| : ベクトルAの長さ(ユークリッドノルム)
ゼロでないベクトルでは値の範囲は -1〜1 で、1に近いほど方向が一致する。その方向の近さが文書の関連性を表すかは、埋め込みモデルと対象データに依存する。
| コサイン類似度 | 意味 |
|---|---|
| 1.0 | 完全に同じ方向(最も類似) |
| 0.0 | 直交(幾何学的な関係。文書の無関係を保証しない) |
| -1.0 | 正反対の方向 |
スコアの分布には普遍的な範囲がない。モデル・言語・文書・質問の組合せによって変わるため、関連/非関連の例を用意して閾値を調整する。ゼロベクトルは分母が0になるので、数学的なコサイン類似度は定義できない。
なぜコサイン類似度がよく使われるのか
| 理由 | 説明 |
|---|---|
| ベクトルの大きさを除いて比較 | 同じ方向のベクトルは大きさが違っても同じ値になる。ただし、文章の長さによる埋め込み品質の変化まで取り除くわけではない |
| 計算が軽い | 内積とノルムだけで求まる |
| 複数のDBが対応 | pgvectorなどがコサイン距離をサポートする。選ぶ指標は埋め込みモデルの仕様に合わせる |
他の距離指標との比較
| 指標 | 計算の考え方 | 向いているケース |
|---|---|---|
| コサイン類似度 | ベクトルの角度 | コサインを推奨するテキスト埋め込みなど |
| ユークリッド距離(L2) | 座標間の直線距離 | 画像埋め込みなど、ノルムが意味を持つ場合 |
| 内積(ドット積) | 方向と長さの両方 | 正規化済みベクトルではコサインと等価 |
| マンハッタン距離(L1) | 各次元の差の絶対値の総和 | スパースベクトル(TF-IDF等)のレガシー用途 |
モデルが出力を正規化(長さを1に揃える)している場合、コサイン類似度と内積は同じ値になる。正規化の有無はモデルの仕様を確認する。
コサイン類似度の計算例(Python)
最小限の例で、3つの文の類似度を計算してみる。
import numpy as np
def cosine_similarity(a: np.ndarray, b: np.ndarray) -> float:
a, b = np.asarray(a, dtype=float), np.asarray(b, dtype=float)
if a.ndim != 1 or b.ndim != 1 or a.shape != b.shape or a.size == 0:
raise ValueError("同じ次元数の空でない1次元ベクトルが必要です")
if not np.isfinite(a).all() or not np.isfinite(b).all():
raise ValueError("NaNや無限大を含むベクトルは使えません")
norm_a, norm_b = np.linalg.norm(a), np.linalg.norm(b)
if norm_a == 0 or norm_b == 0 or not np.isfinite([norm_a, norm_b]).all():
raise ValueError("ノルムが0または計算できないベクトルは使えません")
# 先に正規化して、ノルムの積によるオーバーフローを避ける
return float(np.clip(np.dot(a / norm_a, b / norm_b), -1.0, 1.0))
# 架空の3次元ベクトル(実際は数百〜数千次元)
vec_cat = np.array([0.8, 0.6, 0.1]) # 「猫はかわいい」
vec_kitten = np.array([0.75, 0.65, 0.05]) # 「ネコは愛らしい」
vec_stock = np.array([0.1, 0.2, 0.95]) # 「株価は上昇した」
print(f"猫 vs ネコ: {cosine_similarity(vec_cat, vec_kitten):.3f}") # → 高い値
print(f"猫 vs 株価: {cosine_similarity(vec_cat, vec_stock):.3f}") # → 低い値
上の架空ベクトルの計算はローカルで確認した。ゼロベクトルを直交と混同しないため、この例では不正入力として扱う。実務では sentence-transformers や各社の埋め込みAPIでベクトル化してから、同じ計算を行う。
from sentence_transformers import SentenceTransformer
from sklearn.metrics.pairwise import cosine_similarity
model = SentenceTransformer("paraphrase-multilingual-MiniLM-L12-v2")
texts = [
"退勤時の手順を教えて",
"業務終了時のチェックリスト",
"有給休暇の申請方法",
]
embeddings = model.encode(texts)
# クエリ(0番)と各文書の類似度
query_vec = embeddings[0].reshape(1, -1)
for i, text in enumerate(texts):
score = cosine_similarity(query_vec, embeddings[i].reshape(1, -1))[0][0]
print(f"[{score:.3f}] {text}")
このモデルの実行例は今回未検証であり、文のペアのスコアや順位を保証しない。実行結果を見て、業務上関連する文書が上位に来るか確認する。モデル取得にはネットワーク接続が必要になる。
大量データでの高速検索(近似最近傍探索)
**総当たり(brute-force / exact search)**は検索対象の全ベクトルを比較する。データ量・次元数・ハードウェア・同時検索数によって負荷が変わるため、まず必要な応答時間を満たせるか測る。
そこで使われるのが**近似最近傍探索(ANN: Approximate Nearest Neighbor)**だ。
| 方式 | 概要 | 代表例 |
|---|---|---|
| 総当たり(Exact) | 全ベクトルと類似度を計算 | 小規模データ向け |
| HNSW | グラフ構造で近傍を高速探索 | pgvector、Qdrant、Weaviate |
| IVF | クラスタに分割して探索範囲を絞る | Faiss、Milvus |
| LSH | ハッシュで近いベクトルを同じバケットに | 大規模・許容誤差あり |
ANNは検索速度と、ExactのTop-Kをどの程度再現できるかを交換する方式だ。一律の精度や、RAGで十分になる割合は保証されない。pgvectorも、標準のExact検索に対し、近似インデックスでは結果が変わりうると説明している。pgvector — Indexing
ANNを採用する前の評価例(未実測)
同じデータ・クエリ・距離指標・K・絞り込み条件で、ExactとANNを比較する。候補を取得したあとのリランキングは、取得できなかった文書を復活させない。
-
Recall@K:Exactの上位K件とANN結果の共通文書数 ÷ K。例えばExactが
{1, 2, 3}、ANNが{2, 3, 9}ならRecall@3は2/3。これは計算用の架空例で、実測値ではない。対象がK件未満のクエリや同距離の候補は、比較対象・分母・同順位の扱いを先に決める。 - 検索時間:同じマシン・キャッシュ状態・同時実行数で繰り返し測り、p50とp95(50%、95%の検索がその時間以下で終わる値)を記録する。
- RAGでの有用性:Exactに近いことと、質問に必要な根拠が得られることは別の評価だ。正解文書の取得や、生成回答の根拠・誤回答も確認する。
pgvectorのHNSWでは hnsw.ef_search、IVFFlatでは ivfflat.probes を増やすと、一般に再現率を改善する代わりに検索が重くなる。WHERE の条件は近似インデックスを走査したあとに適用され、返却数がK未満になることもある。pgvector 0.8.0以降のiterative scanや、絞り込み列のインデックス等も候補に含め、実際の条件で比較する。pgvector — Filtering
採用基準は「対象クエリ群で決めたRecall@K・応答時間・RAG品質を満たすか」。検索性能の測定なしに、件数だけからANNが必須・十分とは判断しない。
ベクトルDBで検索するときの設定項目
主要なベクトルDBには、検索時に次のパラメータを指定する。
| パラメータ | 意味 | 典型値 |
|---|---|---|
top_k |
返す件数 | 3〜10(RAGでは多めに取りリランキングも) |
metric |
類似度の種類 | 埋め込みモデルの推奨に合わせる |
score_threshold |
閾値以下を除外 | 関連/非関連の評価例から決める。DBのスコア定義も確認 |
ef / nprobe
|
ANNの精度と速度のトレードオフ | DBのドキュメント参照 |
Pineconeの例(概念):
# 概念例:実際のSDKはバージョンで異なる
results = index.query(
vector=query_embedding,
top_k=5,
include_metadata=True,
# metric="cosine" はインデックス作成時に指定
)
pgvectorの例(documents.embedding は vector(n) 型、$1 はクライアントから渡す同じ次元のクエリベクトル):
-- コサイン距離(1 - コサイン類似度)で近い順に取得
SELECT content, 1 - (embedding <=> $1::vector) AS similarity
FROM documents
ORDER BY embedding <=> $1::vector
LIMIT 5;
pgvectorでは <=> がコサイン距離演算子だ。距離が小さいほど類似度が高い。インデックスを使う場合は、選択した距離に対応する演算子クラス(コサインなら vector_cosine_ops)を使い、距離演算子の昇順の ORDER BY と LIMIT を組み合わせる。このSQLはDBで未実行であり、インデックスが選ばれるかは実行計画で確認する。pgvector — Querying
実装チェックリスト
- インデックス構築と検索で同じ埋め込みモデル・同じバージョンを使っているか確認する
- ベクトルDBのmetric設定が、採用する埋め込みモデルの推奨する距離・類似度の方式と一致しているか確認する
-
top_kを決めたうえで、score_threshold で無関係な結果を除外する設計を検討する - テストクエリ10〜20件で、期待する文書が上位に来るか検索品質を評価する
- ExactとANNを同条件で測り、Recall@K・検索時間・フィルタ後の返却数を比較する
- 検索結果のメタデータ(元ファイル名、ページ番号等)を保存し、出典表示に使えるようにする
失敗パターン
パターン1:metricの不一致
インデックス作成時にユークリッド距離、検索時にコサイン類似度を使うなど、設定が食い違う。
→ 対策:インデックス作成時の metric をドキュメント化し、検索コードと一致させる。
パターン2:閾値なしでtop_kの結果をすべてLLMに渡す
質問と無関係なチャンクまでコンテキストに入り、回答品質が下がることがある。
→ 対策:関連/非関連の評価例から閾値を決め、全件下回る場合は「関連情報なし」と返す。0.7を共通の合格値とせず、距離を返すDBでは閾値の大小関係も確認する。
パターン3:top_kが小さすぎてリランキング前に正解が落ちる
ANNの近似誤差で、本当は関連するチャンクがtop_3に入らない。
→ 対策:取得候補数やANNの探索幅を増やして比較し、必要ならクロスエンコーダ等でリランキングする。候補数20、最終5件は評価候補の一例で、共通の正解ではない。
パターン4:埋め込みモデルとDBの次元数不一致
1536次元のベクトルを768次元用のインデックスに入れようとしてエラーになる。
→ 対策:モデルの dimensions パラメータとDBスキーマをデプロイ前に検証する。
まとめ
- ベクトル検索は、埋め込みベクトル空間でクエリに近い文書を探す方式だ。
- コサイン類似度は「ベクトルの角度」を比較する指標で、意味の近さを捉えられるかは埋め込みモデルとデータによる。
- Exactを基準に検索時間と再現率を測り、必要ならANN(HNSW等)で高速化する。
- モデルの一致、metricの一致、閾値設計が検索品質の前提になる。
次のステップとして、10件程度の短文をベクトル化し、コサイン類似度のスコアを実際に出力してみると、閾値設計の感覚がつかめる。
参考リンク
- Pinecone — What is Vector Search?
- Weaviate — Vector similarity search
- pgvector — GitHub(Indexing・Filtering・Monitoring)
- scikit-learn — cosine_similarity
- Sentence Transformers — Semantic Textual Similarity
- Qdrant — Similarity Metrics
- Faiss — Facebook AI Similarity Search
- OpenAI Embeddings Guide
この記事を書いた人✏️@YushiYamamoto
ITPRODX.com代表。AI × Web × 業務自動化の開発・検証に取り組んでいます。
技術選定・品質・運用の判断材料を、検証範囲と制約を示して発信しています。
AI導入や業務自動化の技術選定・設計整理については、対応できる範囲を確認のうえご相談を承ります。
