0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

ベクトル検索の仕組みを初心者向けに — コサイン類似度まで整理する

0
Last updated at Posted at 2026-07-18

Vector search cosine similarity basics

RAGやセマンティック検索の解説では「ベクトル検索」という言葉が頻出するが、埋め込みで数値化したあと、実際にどうやって「近い文書」を見つけているのかが見えにくい。
この記事は、ベクトル検索の全体像と、代表的な類似度指標であるコサイン類似度を、初心者向けに整理する。

訂正(2026-10-10):ANNが「99%以上のケースで十分」という未根拠の一般化を撤回した。類似度の分布・閾値もモデルとデータに依存するため、固定値を推奨する記述を修正した。以下のANN評価手順は設計例であり、本記事ではDBの検索性能やRAG回答品質を実測していない。

結論:ベクトル検索は「意味の近さで探す検索」

観点 内容
定義 テキストを埋め込みベクトルに変換し、クエリベクトルに近いベクトルを高速に探す検索方式
従来検索との違い キーワード一致ではなく、意味の類似性でヒットする
核心の計算 ベクトル間の距離・類似度(コサイン類似度など)
典型用途 RAGの検索ステップ、FAQ検索、重複文書検出、レコメンド
覚え方 単語の一致に加え、埋め込み空間での近さから候補を探す

ポイント:ベクトル検索は単体の魔法ではない。事前にドキュメントを埋め込み化してベクトルDBに保存し、検索時にクエリも同じモデルで埋め込む——この2段階がセットだ。

ベクトル検索とは何か

ベクトル検索(vector search / similarity search)とは、高次元ベクトル空間の中で、クエリに最も近いベクトルを探し出す処理だ。

従来の全文検索(キーワード検索)との違いを表にまとめる。

方式 マッチの基準 例:「退勤手順を教えて」
キーワード検索 単語の一致・出現頻度 「退勤」「手順」が含まれる文書をヒット
ベクトル検索 ベクトル空間上の距離 「業務終了時のチェックリスト」もヒットしうる

キーワードが完全一致しなくても、意味が近ければ検索結果に現れる。RAGで「ユーザーの自然文の質問」から関連ドキュメントを引くとき、この性質が重要になる。

ベクトル検索の流れ(全体像)

[インデックス構築(オフライン)]
  ドキュメント群
    → チャンク分割
    → 各チャンクを埋め込みモデルでベクトル化
    → ベクトルDBに保存(ベクトル + メタデータ + 元テキスト)

[検索(オンライン)]
  ユーザーの質問
    → 同じ埋め込みモデルでベクトル化
    → ベクトルDBで類似ベクトルを検索(Top-K)
    → 上位K件の元テキストを取得
    → LLMのコンテキストに渡す(RAGの場合)
フェーズ やること 注意点
インデックス構築 全チャンクをベクトル化して保存 モデルと次元数を記録しておく
検索 総当たり、またはANNで近いベクトルを探す インデックス時と同じモデル・対応する入力形式を使う
結果の利用 上位K件をLLMに渡す 閾値以下は除外する設計も有効

類似度の計算:コサイン類似度を中心に

2つのベクトルが「どれだけ近いか」を数値化する指標を類似度メトリックという。代表的な指標の一つが**コサイン類似度(cosine similarity)**だ。

コサイン類似度とは

コサイン類似度は、2つのベクトルがなす角度のコサイン値を取る指標だ。

cosine_similarity(A, B) = (A · B) / (|A| × |B|)

A · B  : ベクトルAとBの内積(各要素の積の総和)
|A|    : ベクトルAの長さ(ユークリッドノルム)

ゼロでないベクトルでは値の範囲は -1〜1 で、1に近いほど方向が一致する。その方向の近さが文書の関連性を表すかは、埋め込みモデルと対象データに依存する。

コサイン類似度 意味
1.0 完全に同じ方向(最も類似)
0.0 直交(幾何学的な関係。文書の無関係を保証しない)
-1.0 正反対の方向

スコアの分布には普遍的な範囲がない。モデル・言語・文書・質問の組合せによって変わるため、関連/非関連の例を用意して閾値を調整する。ゼロベクトルは分母が0になるので、数学的なコサイン類似度は定義できない。

なぜコサイン類似度がよく使われるのか

理由 説明
ベクトルの大きさを除いて比較 同じ方向のベクトルは大きさが違っても同じ値になる。ただし、文章の長さによる埋め込み品質の変化まで取り除くわけではない
計算が軽い 内積とノルムだけで求まる
複数のDBが対応 pgvectorなどがコサイン距離をサポートする。選ぶ指標は埋め込みモデルの仕様に合わせる

他の距離指標との比較

指標 計算の考え方 向いているケース
コサイン類似度 ベクトルの角度 コサインを推奨するテキスト埋め込みなど
ユークリッド距離(L2) 座標間の直線距離 画像埋め込みなど、ノルムが意味を持つ場合
内積(ドット積) 方向と長さの両方 正規化済みベクトルではコサインと等価
マンハッタン距離(L1) 各次元の差の絶対値の総和 スパースベクトル(TF-IDF等)のレガシー用途

モデルが出力を正規化(長さを1に揃える)している場合、コサイン類似度と内積は同じ値になる。正規化の有無はモデルの仕様を確認する。

コサイン類似度の計算例(Python)

最小限の例で、3つの文の類似度を計算してみる。

import numpy as np

def cosine_similarity(a: np.ndarray, b: np.ndarray) -> float:
  a, b = np.asarray(a, dtype=float), np.asarray(b, dtype=float)
  if a.ndim != 1 or b.ndim != 1 or a.shape != b.shape or a.size == 0:
    raise ValueError("同じ次元数の空でない1次元ベクトルが必要です")
  if not np.isfinite(a).all() or not np.isfinite(b).all():
    raise ValueError("NaNや無限大を含むベクトルは使えません")
  norm_a, norm_b = np.linalg.norm(a), np.linalg.norm(b)
  if norm_a == 0 or norm_b == 0 or not np.isfinite([norm_a, norm_b]).all():
    raise ValueError("ノルムが0または計算できないベクトルは使えません")
  # 先に正規化して、ノルムの積によるオーバーフローを避ける
  return float(np.clip(np.dot(a / norm_a, b / norm_b), -1.0, 1.0))

# 架空の3次元ベクトル(実際は数百〜数千次元)
vec_cat   = np.array([0.8, 0.6, 0.1])   # 「猫はかわいい」
vec_kitten = np.array([0.75, 0.65, 0.05])  # 「ネコは愛らしい」
vec_stock  = np.array([0.1, 0.2, 0.95])  # 「株価は上昇した」

print(f"猫 vs ネコ:   {cosine_similarity(vec_cat, vec_kitten):.3f}")  # → 高い値
print(f"猫 vs 株価:   {cosine_similarity(vec_cat, vec_stock):.3f}")   # → 低い値

上の架空ベクトルの計算はローカルで確認した。ゼロベクトルを直交と混同しないため、この例では不正入力として扱う。実務では sentence-transformers や各社の埋め込みAPIでベクトル化してから、同じ計算を行う。

from sentence_transformers import SentenceTransformer
from sklearn.metrics.pairwise import cosine_similarity

model = SentenceTransformer("paraphrase-multilingual-MiniLM-L12-v2")

texts = [
  "退勤時の手順を教えて",
  "業務終了時のチェックリスト",
  "有給休暇の申請方法",
]
embeddings = model.encode(texts)

# クエリ(0番)と各文書の類似度
query_vec = embeddings[0].reshape(1, -1)
for i, text in enumerate(texts):
  score = cosine_similarity(query_vec, embeddings[i].reshape(1, -1))[0][0]
  print(f"[{score:.3f}] {text}")

このモデルの実行例は今回未検証であり、文のペアのスコアや順位を保証しない。実行結果を見て、業務上関連する文書が上位に来るか確認する。モデル取得にはネットワーク接続が必要になる。

大量データでの高速検索(近似最近傍探索)

**総当たり(brute-force / exact search)**は検索対象の全ベクトルを比較する。データ量・次元数・ハードウェア・同時検索数によって負荷が変わるため、まず必要な応答時間を満たせるか測る。

そこで使われるのが**近似最近傍探索(ANN: Approximate Nearest Neighbor)**だ。

方式 概要 代表例
総当たり(Exact) 全ベクトルと類似度を計算 小規模データ向け
HNSW グラフ構造で近傍を高速探索 pgvector、Qdrant、Weaviate
IVF クラスタに分割して探索範囲を絞る Faiss、Milvus
LSH ハッシュで近いベクトルを同じバケットに 大規模・許容誤差あり

ANNは検索速度と、ExactのTop-Kをどの程度再現できるかを交換する方式だ。一律の精度や、RAGで十分になる割合は保証されない。pgvectorも、標準のExact検索に対し、近似インデックスでは結果が変わりうると説明している。pgvector — Indexing

ANNを採用する前の評価例(未実測)

同じデータ・クエリ・距離指標・K・絞り込み条件で、ExactとANNを比較する。候補を取得したあとのリランキングは、取得できなかった文書を復活させない。

  • Recall@K:Exactの上位K件とANN結果の共通文書数 ÷ K。例えばExactが {1, 2, 3}、ANNが {2, 3, 9} ならRecall@3は 2/3。これは計算用の架空例で、実測値ではない。対象がK件未満のクエリや同距離の候補は、比較対象・分母・同順位の扱いを先に決める。
  • 検索時間:同じマシン・キャッシュ状態・同時実行数で繰り返し測り、p50とp95(50%、95%の検索がその時間以下で終わる値)を記録する。
  • RAGでの有用性:Exactに近いことと、質問に必要な根拠が得られることは別の評価だ。正解文書の取得や、生成回答の根拠・誤回答も確認する。

pgvectorのHNSWでは hnsw.ef_search、IVFFlatでは ivfflat.probes を増やすと、一般に再現率を改善する代わりに検索が重くなる。WHERE の条件は近似インデックスを走査したあとに適用され、返却数がK未満になることもある。pgvector 0.8.0以降のiterative scanや、絞り込み列のインデックス等も候補に含め、実際の条件で比較する。pgvector — Filtering

採用基準は「対象クエリ群で決めたRecall@K・応答時間・RAG品質を満たすか」。検索性能の測定なしに、件数だけからANNが必須・十分とは判断しない。

ベクトルDBで検索するときの設定項目

主要なベクトルDBには、検索時に次のパラメータを指定する。

パラメータ 意味 典型値
top_k 返す件数 3〜10(RAGでは多めに取りリランキングも)
metric 類似度の種類 埋め込みモデルの推奨に合わせる
score_threshold 閾値以下を除外 関連/非関連の評価例から決める。DBのスコア定義も確認
ef / nprobe ANNの精度と速度のトレードオフ DBのドキュメント参照

Pineconeの例(概念):

# 概念例:実際のSDKはバージョンで異なる
results = index.query(
  vector=query_embedding,
  top_k=5,
  include_metadata=True,
  # metric="cosine" はインデックス作成時に指定
)

pgvectorの例(documents.embedding は vector(n) 型、$1 はクライアントから渡す同じ次元のクエリベクトル):

-- コサイン距離(1 - コサイン類似度)で近い順に取得
SELECT content, 1 - (embedding <=> $1::vector) AS similarity
FROM documents
ORDER BY embedding <=> $1::vector
LIMIT 5;

pgvectorでは <=> がコサイン距離演算子だ。距離が小さいほど類似度が高い。インデックスを使う場合は、選択した距離に対応する演算子クラス(コサインなら vector_cosine_ops)を使い、距離演算子の昇順の ORDER BY と LIMIT を組み合わせる。このSQLはDBで未実行であり、インデックスが選ばれるかは実行計画で確認する。pgvector — Querying

実装チェックリスト

  • インデックス構築と検索で同じ埋め込みモデル・同じバージョンを使っているか確認する
  • ベクトルDBのmetric設定が、採用する埋め込みモデルの推奨する距離・類似度の方式と一致しているか確認する
  • top_k を決めたうえで、score_threshold で無関係な結果を除外する設計を検討する
  • テストクエリ10〜20件で、期待する文書が上位に来るか検索品質を評価する
  • ExactとANNを同条件で測り、Recall@K・検索時間・フィルタ後の返却数を比較する
  • 検索結果のメタデータ(元ファイル名、ページ番号等)を保存し、出典表示に使えるようにする

失敗パターン

パターン1:metricの不一致
インデックス作成時にユークリッド距離、検索時にコサイン類似度を使うなど、設定が食い違う。
→ 対策:インデックス作成時の metric をドキュメント化し、検索コードと一致させる。

パターン2:閾値なしでtop_kの結果をすべてLLMに渡す
質問と無関係なチャンクまでコンテキストに入り、回答品質が下がることがある。
→ 対策:関連/非関連の評価例から閾値を決め、全件下回る場合は「関連情報なし」と返す。0.7を共通の合格値とせず、距離を返すDBでは閾値の大小関係も確認する。

パターン3:top_kが小さすぎてリランキング前に正解が落ちる
ANNの近似誤差で、本当は関連するチャンクがtop_3に入らない。
→ 対策:取得候補数やANNの探索幅を増やして比較し、必要ならクロスエンコーダ等でリランキングする。候補数20、最終5件は評価候補の一例で、共通の正解ではない。

パターン4:埋め込みモデルとDBの次元数不一致
1536次元のベクトルを768次元用のインデックスに入れようとしてエラーになる。
→ 対策:モデルの dimensions パラメータとDBスキーマをデプロイ前に検証する。

まとめ

  • ベクトル検索は、埋め込みベクトル空間でクエリに近い文書を探す方式だ。
  • コサイン類似度は「ベクトルの角度」を比較する指標で、意味の近さを捉えられるかは埋め込みモデルとデータによる。
  • Exactを基準に検索時間と再現率を測り、必要ならANN(HNSW等)で高速化する。
  • モデルの一致、metricの一致、閾値設計が検索品質の前提になる。

次のステップとして、10件程度の短文をベクトル化し、コサイン類似度のスコアを実際に出力してみると、閾値設計の感覚がつかめる。

参考リンク

この記事を書いた人✏️@YushiYamamoto
ITPRODX.com代表。AI × Web × 業務自動化の開発・検証に取り組んでいます。
技術選定・品質・運用の判断材料を、検証範囲と制約を示して発信しています。
AI導入や業務自動化の技術選定・設計整理については、対応できる範囲を確認のうえご相談を承ります。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?