【① 事前のデータ登録(インプット側)】ドキュメント ──> チャンキング ──> Embeddingモデル ──> Vector DB保存(社内文書等) (テキスト分割) (多次元ベクトル化) (Vector/ID/Metadata)【② 検索・回答処理(クエリ側)】ユーザー質問 ──> Embeddingモデル ──> Vector DB検索 ──> LLMへプロンプト投入 ──> 回答生成(短いテキスト) (1つのベクトル化) (類似度計算/Top-k) (コンテキスト付与)
① 事前のデータ登録(インプット側)
- ドキュメントの収集と分割(チャンキング):マニュアルやブログなどの元文書を適切な長さに切断します 。
- ベクトル化(Embedding):分割されたテキスト(チャンク)をEmbeddingモデルに入力し、多次元ベクトルに変換します 。
- Vector DBへの保存:数値配列(ベクトル)、ID、テキスト等のメタデータをセットでデータベースに保存します 。
② 検索・回答処理(クエリ側)
- 検索クエリのベクトル化:ユーザーの質問文を受け取り、チャンク分割はせずそのままEmbeddingモデルで1つのベクトルに変換します 。
- 類似度検索:Vector DB内に保存された多数のベクトルと質問ベクトルとの間で計算を行い、スコアが高い上位(Top-k)のチャンクを抽出します 。
- 回答生成:抽出したチャンクのテキストを文脈(コンテキスト)としてLLMに渡し、正確な回答を生成させます 。
2. 事前データ登録における3大技術要素
2-1. チャンキング(Chunking)設計とトレードオフ
長大な文書をそのままベクトル化すると検索精度が低下するため、適切な切り取りサイズ(チャンクサイズ)と重ねしろ(オーバーラップ)の設計が必要です 。
| チャンクサイズ | メリット | デメリット |
|---|---|---|
|
小さい場合 (例: 100〜300文字) |
質問に対してピンポイントでヒットし、ノイズが少ない 。 | 主語や前提条件などの「文脈(コンテキスト)」が切れやすい 。 |
|
大きい場合 (例: 1,000〜2,000文字) |
背景や理由など文脈情報が十分に保持される 。 | 無関係なノイズが多く含まれ、ピンポイント性が落ちる 。 |
-
オーバーラップ(Overlap)の役割:
チャンクの境界線で文章の意味や文脈が分断されるのを防ぐため、前後のチャンク同士で一部のテキスト(例: 50〜100文字程度)を重複させて切断します 。
2-2. ベクトル化(Embedding)の役割
日本語などの自然言語テキストは直接数値演算ができないため、**Embeddingモデル(埋め込みモデル)**に入力して数百〜数千次元の多次元ベクトル(数値の並び)に変換します 。モデルの選定(対象言語やドメイン適応性)が検索精度の向上に直結します 。
2-3. Vector DB(ベクトルデータベース)の内部構造
Pinecone、Chroma、MilvusなどのVector DBでは、1つのレコードが主に以下の3要素で管理されます 。
- ベクトル(Vector / Embedding):検索・計算用の数値配列 。
- ID:チャンクを一意に識別するための固有キー 。
-
メタデータ(Metadata / Payload):検索結果としてLLMに与える**「分割された各チャンクの日本語テキスト」**や文書名・ページ番号など 。
(※ドキュメント全体を保持させると容量が膨大になるため、チャンク単位のテキストを持たせるのが一般的です )
3. ベクトルの類似度指標と選択基準
ベクトル検索において「どの情報が質問に近いか」を判定する代表的な3つの計算手法と特徴です 。
3-1. コサイン類似度(Cosine Similarity)
- 特徴:2つのベクトルが向いている**「方向(角度)」**のみを評価し、ベクトルの「長さ(文章の量・文字数)」は分母で正規化して無視します 。
- スコア範囲:$-1 \sim 1$(1に近づくほど類似度が高い) 。
- ユースケース:文章の長さ(単語数)に左右されず、トピックやニュアンスの一致度を正確に測定できるため、RAGや文書検索における第一選択肢となります 。
3-2. ユークリッド距離(Euclidean Distance / L2)
- 特徴:多次元空間上の2点間の**「直線距離」**を測定します 。ベクトルのスケール(絶対的な長さ)の影響を大きく受けます 。
- スコア範囲:$0 \sim \infty$(0に近いほど一致) 。
-
注意点・落とし穴:
テキスト検索に適用すると文章の長さ(文字数)に引きずられてしまいます 。
例えば「ラーメンについて詳しく解説された長い記事」よりも、「文字数が検索語に近く、少し内容のズレているお蕎麦の短い記事」の方が距離が近く判定されてしまうリスクがあります 。
3-3. 内積(Dot Product)
- 特徴:ベクトルの「方向」と「大きさ」の両方を反映します 。
- 関係性:ベクトルがL2正規化(単位長さに変換)されている場合、計算結果はコサイン類似度と等しくなります 。
4. 実務におけるデバッグとチューニング手法
「数式や内部ロジックはライブラリに任せればよい」と考えがちですが、内部の計算原理を理解しておくことで実務上のトラブルに迅速に対処できます 。
4-1. Vector DBの設定ミス防止
Vector DBや検索エンジン(Elasticsearch, Milvusなど)の設定時に、cosine, l2, dotProductなどの度量(Metric)を選択します 。データの前処理(正規化の有無)やモデルの仕様に合わせた適切なパラメータ選択が必要です 。
4-2. 精度悪化・ハルシネーション発生時のデバッグ手順
検索精度が出ない、またはハルシネーション(嘘の回答)が発生した場合は、以下の要素を切り分けて検証・調整します :
-
チャンクサイズの再検討:
- 適切な情報が含まれているか?(小さすぎて文脈途切れ / 大きすぎてノイズ過多)
-
オーバーラップの調整:
- 境界部分で必要な知識が脱落していないか?
-
Embeddingモデルの変更:
- 日本語やドメイン固有表現(業界用語等)のニュアンスを正しく捉えられているか?
-
類似度メトリックの確認:
- テキスト検索に適した指標(コサイン類似度等)が選ばれているか?
5. まとめ
RAGシステムを成功させるためには、単にLLMへプロンプトを投げるだけでなく、前処理としての**「チャンキング設計」、適切な「EmbeddingモデルとVector DBの構築」、そして目的に合致した「類似度指標の選択」**が不可欠です 。
次節の「理解度チェックテスト」を活用し、知識の定着度を確認してみましょう 。
6. 【締め】RAG & ベクトル検索 理解度チェックテスト(10問)
以下の問題にチャレンジし、理解度を確認してみましょう!解答と解説は問題の下に掲載しています 。
■ クイズ問題
Q1. RAGの処理において、ユーザーから検索リクエストが来た際の処理(クエリ側プロセス)として正しいものはどれですか?
- A. 検索クエリを100文字単位にチャンキングしてからEmbeddingモデルでベクトル化する 。
- B. 検索クエリは分割せず、そのままEmbeddingモデルで1つのベクトルに変換する 。
- C. Vector DB内の全ドキュメントをテキストのままLLMに入力して検索する 。
- D. 検索クエリを直接Vector DBのメタデータと完全一致検索する 。
Q2. チャンクサイズ(Chunk Size)を小さく(例:100〜200文字)設定した場合の主なメリットとデメリットの組み合わせとして適切なものはどれですか?
- A. メリット: 文脈(コンテキスト)が豊富になる / デメリット: 検索の計算コストが爆発する 。
- B. メリット: 検索結果のピンポイント性が高まりノイズが減る / デメリット: 前後の文脈が分断されやすい 。
- C. メリット: オーバーラップを設定しなくて済む / デメリット: Vector DBに保存できなくなる 。
- D. メリット: Embeddingモデルが不要になる / デメリット: ハルシネーションが100%発生する 。
Q3. チャンキング時に「オーバーラップ(Overlap)」を設定する主な目的は何ですか?
- A. データ容量を極限まで削減するため 。
- B. チャンクの分割境界で文章の意味や文脈が切れてしまうのを防ぐため 。
- C. Embeddingモデルの計算速度を高速化するため 。
- D. LLMの出力文字数を制限するため 。
Q4. 一般的なVector DB(Pinecone等)のレコードに格納される3つの基本要素に含まれないものはどれですか?
- A. 検索・計算用の多次元ベクトル(Embedding) 。
- B. レコードを一意に識別するためのID 。
- C. チャンク単位のテキストを含むメタデータ(Metadata) 。
- D. 元ドキュメント全体の未分割全文データ 。
Q5. テキスト検索(RAG)において「コサイン類似度」が最も広く利用される最大の理由は何ですか?
- A. 計算式に微分が含まれており、AIの学習が速くなるから 。
- B. ベクトルの大きさ(文章の長さ)を無視し、純粋な「向いている方向(トピックの類似性)」のみを評価できるから 。
- C. 常に0から無限大の値をとるため距離の比較が容易だから 。
- D. LLMがプロンプトとして認識しやすいから 。
Q6. テキスト検索で「ユークリッド距離」を使用した場合に懸念される「落とし穴」として正しいものはどれですか?
- A. 検索キーワードとトピックが合っていても、文章の長さ(スケール)に引きずられてズレた短文が上位に来てしまうことがある 。
- B. 計算結果が負の値にしかならないため類似度が判定できない 。
- C. ベクトルの次元数が100次元を超えると計算不能になる 。
- D. 常にコサイン類似度と完全一致する計算結果になる 。
Q7. 内積(Dot Product)とコサイン類似度の関係について、正しい記述はどれですか?
- A. ベクトルがL2正規化(単位長さに揃える処理)されている場合、内積の計算結果はコサイン類似度と等しくなる 。
- B. 内積は常に0〜1の範囲に収まるが、コサイン類似度は無限大まで広がる 。
- C. 内積は角度のみを計算し、コサイン類似度は距離のみを計算する 。
- D. 両者に数学的な関係性は存在しない 。
Q8. ユーザーの質問に対して関係のない嘘の情報(ハルシネーション)を回答してしまう場合、RAGシステムの内部で疑うべき原因として最も不適切なものはどれですか?
- A. チャンクサイズが大きすぎて無関係なノイズ情報が大量にLLMへ送られている 。
- B. チャンクサイズが小さすぎて主語や文脈が欠落している 。
- C. Embeddingモデルが日本語の表現やドメイン用語のニュアンスを捉えきれていない 。
- D. Vector DBの保存ストレージの容量が大きすぎる 。
Q9. 日本語のテキストドキュメントをVector DBに登録する際、テキストからベクトルへの変換を担う役割はどれですか?
- A. 形態素解析エンジン 。
- B. Embeddingモデル(埋め込みモデル) 。
- C. SQLデータベース 。
- D. LLMのデコーダー部 。
Q10. 実務において、ベクトル検索エンジンの類似度度量(Metric)の設定を理解しておくことのメリットとして適切なものはどれですか?
- A. インフラの物理メモリを自動的に拡張できるようになる 。
- B. 検索精度の悪化や意図しないヒットが発生した際に、パラメータやデータ前処理の問題に立ち返って適切なデバッグ・調整ができる 。
- C. プログラムのコードを書かずに自動でGUI画面が生成される 。
- D. LLMの文字単価コストが半額になる 。
■ 解答と解説
-
Q1 解答: B
- 解説: ユーザーの質問文(クエリ)は通常短い文章であるため、チャンク分割は行わずそのままEmbeddingモデルに入力して1つのベクトル化を行い、Vector DB内のチャンクベクトルと比較します 。
-
Q2 解答: B
- 解説: 小さいチャンクはノイズが減りピンポイントで情報を取り出せますが、前後の文脈(主語や前提)が途切れてしまうリスクがあります 。
-
Q3 解答: B
- 解説: 分割境界で文章や文脈が途絶えるのを防ぐため、前後のチャンクで一定文字数を重複させて切断します 。
-
Q4 解答: D
- 解説: Vector DBには容量効率化のため、ドキュメント全体ではなく「分割された各チャンクの日本語テキスト」をメタデータとして保持させます 。
-
Q5 解答: B
- 解説: コサイン類似度はベクトルのノルム(長さ)で正規化して角度(方向)のみを評価するため、文章の長さに影響されずトピックの一致度を測定できます 。
-
Q6 解答: A
- 解説: ユークリッド距離は直線距離(スケール)を測るため、テキスト検索に使うと文章の長さ(文字数)の近さに引きずられてしまい、ターゲットとズレた短文が上位に来てしまうリスクがあります 。
-
Q7 解答: A
- 解説: ベクトルの長さが1に正規化されている場合、内積の計算結果はコサイン類似度の値と完全に一致します 。
-
Q8 解答: D
- 解説: ストレージ容量の大きさ自体がハルシネーションの直接的な要因になることはありません。チャンクサイズのミスマッチやEmbeddingモデルの適応不足が主な原因となります 。
-
Q9 解答: B
- 解説: テキストを数千次元の数値配列(ベクトル)に変換するのは「Embeddingモデル(埋め込みモデル)」です 。
-
Q10 解答: B
-
解説: コサイン類似度やユークリッド距離などのロジックを把握しておくことで、精度悪化時の原因特定や設定ミスへの気づきなど、実務でのトラブルシューティングが可能になります 。
"""
-
解説: コサイン類似度やユークリッド距離などのロジックを把握しておくことで、精度悪化時の原因特定や設定ミスへの気づきなど、実務でのトラブルシューティングが可能になります 。