0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@bit-tanghao(ゆかわ)

RAGシステム技術マップ2024-2025：5つの環節と最新技術トレンド【シリーズ番外篇】

0
Posted at

はじめに：なぜ今、全体を俯瞰するのか

第1弾から第8弾まで、RAGを様々な角度から改善してきました。

振り返ると「何かを改善するたびに別のところが気になる」という繰り返しでした。それは当然で、RAGシステムは5つの環節（フェーズ）から構成されており、どの環節を改善するかによって効く質問タイプが変わるからです。

この番外篇では：

  1. RAGの5環節の全体像
  2. 各環節の最新技術と登場時期
  3. 本シリーズがどの環節を改善してきたか
  4. 実際のプロダクトでの採用状況
  5. 質問タイプ別「どこを改善すべきか」の指針

を整理します。

RAGシステムの5つの環節

ドキュメント群
    ↓
【環節①】インデックス構築（チャンキング）
    ↓
    ┌─────────────────┐
    │   ベクトルDB     │
    └─────────────────┘
           ↑検索
【環節②】クエリ処理・変換
           ↓
【環節③】検索（Retrieval）
           ↓
【環節④】ランキング・フィルタリング
           ↓
【環節⑤】回答生成（Generation）
           ↓
       最終回答

この構造を念頭に置くと、本シリーズ各弾の位置づけが明確になります。
rag_techmap_extra.png

環節① インデックス構築（チャンキング）

概要

ドキュメントをどう「切り分けて」ベクトル化するかを決める工程。ここが悪ければ後工程でどんなに工夫しても限界がある。

最新技術マップ

技術 登場・普及 概要 採用プロダクト例
Fixed-size Chunking 〜2022年（RAG黎明期） 固定文字数で分割。実装が簡単だが意味の切断が起きやすい ほぼ全サービスのベースライン
Markdown / 構造チャンキング 2023年 見出し単位で分割。文書構造を保持する LlamaIndex, LangChain標準機能
Semantic Chunking 2023〜2024年 文の埋め込み類似度で意味の境界を検出して分割 Chroma Research, LlamaIndex
Small-to-Big（Parent-Child） 2024年 小チャンクで検索して親チャンクを返す。精度と文脈の両立 LlamaIndex, Azure AI Search
Late Chunking 2024年 ドキュメント全体をエンコードしてからチャンクにプーリング。文脈が保持される Jina AI
Contextual Retrieval 2024年（Anthropic） 各チャンクに「ドキュメント全体の文脈サマリー」を付与してからインデックス Anthropic Claude活用プロダクト
Proposition-based Chunking 2024〜2025年 LLMで原子的な命題（1文1事実）に分解してインデックス 研究段階 → 医療・法務分野で採用
HyPE（Hypothetical Prompt Embeddings） 2025年 インデックス時に各チャンクに対しHyDEの逆：仮説クエリを生成して埋め込む 研究段階

本シリーズでのカバレッジ

  • 第1弾：Fixed-size（ベースライン）
  • 第4弾 Smart Chunk RAG：Markdownヘッダーチャンキングでチャンク数47→31に削減 ✅

未カバーの注目技術

Semantic ChunkingとSmall-to-Bigは2024年に実用化が進み、LlamaIndexで標準APIとして提供されています。特にSmall-to-Bigは「精密に検索しつつ十分な文脈を返す」というジレンマを解消するアプローチとして注目です。

環節② クエリ処理・変換

概要

ユーザーが入力したクエリをそのまま検索に使うのではなく、検索に適した形に変換・拡張する工程。

最新技術マップ

技術 登場・普及 概要 採用プロダクト例
そのままベクトル化 〜2022年 クエリを直接Embeddingして検索。ベースライン 全サービスの基本
HyDE（Hypothetical Document Embeddings） 2022年論文 → 2023年普及 仮説回答文書を生成してから検索。クエリ・文書ギャップを埋める Haystack, LlamaIndex組み込み
Query Decomposition（Multi-Query） 2023年 複合質問をサブクエリに分解して並列検索 LangChain Multi-Query Retriever, Perplexity
Step-Back Prompting 2023年（Google論文） 具体的なクエリを一段抽象化してから検索 研究段階
Query Expansion 古典的手法 → LLM版2023年〜 同義語・関連語を追加して語彙ミスマッチを解消 Elasticsearch AI Search
HyPE（Hypothetical Prompt Embeddings） 2025年 インデックス側で仮説クエリを生成（HyDEのインデックス版） 研究段階

本シリーズでのカバレッジ

  • 第8弾 Query-Optimized RAG：HyDE + Query Decompositionの両方を実装 ✅

質問タイプ別の効果

質問タイプ 推奨手法 理由
抽象的・概念的（Q1型） HyDE クエリと文書の表現ギャップが大きいため
明確なキーワード型（Q2型） そのまま検索 分解・変換は不要でオーバーヘッドのみ
複合・横断型（Q3型） Query Decomposition 複数トピックを分けて検索することで網羅性が上がる

環節③ 検索（Retrieval）

概要

インデックスから関連チャンクを取得する工程。量（Recall）を重視する段階。

最新技術マップ

技術 登場・普及 概要 採用プロダクト例
Dense（ベクトル検索 / Bi-Encoder） 2020年 DPR論文 → 2022年普及 意味的類似度で検索。語彙ミスマッチに強い ChromaDB, Pinecone, Weaviate
Sparse（BM25） 1994年論文 → 現在も現役 キーワードマッチング。専門用語・固有名詞に強い Elasticsearch, OpenSearch
Hybrid（Dense + BM25 + RRF） 2021〜2022年 両者をRRFで融合。バランスが良い Azure AI Search, Weaviate, Qdrant
GraphRAG（知識グラフ） 2024年2月 Microsoft発表・OSS公開 エンティティ関係グラフ。複数文書横断の質問に強い Microsoft GraphRAG OSS, Neo4j
Agentic RAG（ループ再検索） 2023〜2024年 品質不足なら再検索・クエリ書き換えをループ LangGraph, AutoGen
Multi-Vector / ColBERT 2020年論文 → 2024年実用化 トークン単位の複数ベクトルで細粒度マッチング RAGatouille, Qdrant, Vespa
RAPTOR（階層ツリー型RAG） 2024年 文書を要約してツリー構造でインデックス。広範な質問に対応 LlamaIndex実装済み

本シリーズでのカバレッジ

  • 第1〜8弾：Dense（ChromaDB）は全弾で使用 ✅
  • 第3弾 Hybrid RAG：BM25 + RRF ✅
  • 第2弾 Agentic RAG：LangGraphによるループ再検索 ✅
  • 第7弾 GraphRAG：NetworkX + ChromaDB ✅

未カバーの注目技術

ColBERT / Multi-Vectorは2024年に実用化が加速。RAGatoulleライブラリでPythonから容易に使えるようになっています。クエリの各トークンベクトルとドキュメントのトークンベクトルの最大類似度スコアを集約するため、単一ベクトルのBi-Encoderが見逃す細粒度のマッチングが可能です。

環節④ ランキング・フィルタリング

概要

環節③で取得した大量の候補チャンクを精度（Precision）重視で並び替える工程。

最新技術マップ

技術 登場・普及 概要 採用プロダクト例
Bi-Encoder初期スコア 2020年〜 Dense検索のコサイン類似度スコアをそのまま使用。高速だが精度に限界 デフォルト構成
Cross-Encoder Re-ranking 2019年BERT〜 → 2022年普及 クエリとチャンクをペアで評価。精度が高いが計算コスト大 Cohere Rerank, Jina Reranker, Voyage
LLM Re-ranking 2023〜2024年 LLMに「この文書は関連するか？」と直接判定させる GPT-4ベースの実装, RankGPT
Corrective RAG（CRAG） 2024年（Yan et al.） 検索品質が低い場合に自動でWeb検索にフォールバック。自己修正ループ LangGraph実装済み
RAGAs・TruLens（評価フレームワーク） 2022〜2023年体系化 Recall@K, MRR, Faithfulness等の定量評価 RAGAs（OSS）, TruLens

本シリーズでのカバレッジ

  • 第5弾 RAG評価：Recall@K / MRR / キーワードヒット率で全手法を定量比較 ✅
  • 第6弾 Re-ranking RAG：Cross-Encoder（mmarco-mMiniLMv2-L12-H384-v1）でMRR 1.000達成 ✅

未カバーの注目技術

Corrective RAG（CRAG） は第2弾 Agentic RAGの発展形として注目です。検索結果の品質を評価し、「正確」なら通常生成、「曖昧」ならクエリ再構築、「不正確」ならWeb検索へフォールバックする自己修正ループを実装します。

環節⑤ 回答生成（Generation）

概要

取得・ランキングされたチャンクをコンテキストとしてLLMに回答を生成させる工程。

最新技術マップ

技術 登場・普及 概要 採用プロダクト例
Naive Generation 2020年 RAG論文 チャンクを連結してプロンプトに渡す基本形 全RAGサービスの基本
Agentic（ループ・自己評価） 2023〜2024年 生成品質を自己評価して不十分なら再検索 LangGraph, CrewAI
Streaming応答 2023年〜（API普及） トークンをストリームで返し、UXを改善 ChatGPT, Claude, Perplexity全般
Self-RAG（自己反省生成） 2023年論文 → 2024年 検索が必要かどうかを自己判断し、生成の各ステップで反省トークンを出力 研究段階
Fusion-in-Decoder 2021年 複数チャンクをデコーダーで統合生成。大規模システム向け 研究・大規模システム
Context Engineering 2025年〜 RAGを超えた概念。「何をコンテキストに入れるか」を体系的に設計する 業界トレンドとして台頭

本シリーズでのカバレッジ

  • 第1〜8弾：Naive Generation（全弾共通） ✅
  • 第2弾 Agentic RAG：LangGraphによるループ・再検索 ✅

シリーズ全8弾のマッピング

rag_series_mapping.png

まだ本シリーズで本格的に扱っていない環節：

  • 環節① Semantic Chunking / Small-to-Big / Contextual Retrieval
  • 環節③ ColBERT / RAPTOR
  • 環節④ Corrective RAG
  • 環節⑤ Self-RAG / Streaming

実際のプロダクトでの採用状況

プロダクト 主な技術構成 特徴
Microsoft Copilot Hybrid RAG（Azure AI Search）+ Re-ranking 「RAGはエンタープライズのあらゆるAIアプリケーションの核心」とSatya Nadella氏が明言。Azure AI SearchでFortune 500企業の85%に展開
Google NotebookLM Dense RAG + Gemini 2.0 + ソース固定型 ユーザーが指定したソースのみを参照する「閉じたRAG」。ハルシネーション低減に効果的
Perplexity AI Agentic RAG + Web検索リアルタイム統合 クエリに応じて検索エンジンを動的に使用。CRAG的な自己修正も実装
LangChain / LlamaIndex ほぼ全技術をサポート Semantic Chunking, Small-to-Big, HyDE, ColBERT等を標準ライブラリとして提供
Qdrant Hybrid（Dense + Sparse）+ ColBERT Re-ranking ベクトルDB単体でHybrid検索とRe-rankingをサポート。BM42（BM25の改善版）も開発中
Cohere Re-ranking API（Rerank 3）+ Command R+ Cross-Encoder Re-rankingをAPIとして提供。多言語対応が強み

質問タイプ別「どこを改善すべきか」の指針

本シリーズの3つのテスト質問を例に：

Q2型「SQLインジェクションとは何ですか？」

キーワードが明確な具体的質問。

優先改善環節: ③検索
推奨手法:     Hybrid RAG（BM25 + Dense）
理由:         「SQLインジェクション」という固有名詞は
              BM25のキーワードマッチが圧倒的に効果的
環節②クエリ変換は効果が薄い（むしろノイズになる場合も）

Q1型「コードの品質を保ちながら開発スピードを上げるには？」

抽象的・概念的な質問。

優先改善環節: ②クエリ変換
推奨手法:     HyDE
理由:         「開発スピード」「コード品質」という抽象語は
              文書内の具体的な表現と乖離がある
仮説文書生成で「テスト自動化」「CI/CD」等の具体語を補完

Q3型「APIのエラーハンドリングとDBのトランザクション管理の共通点は？」

複数ドキュメントにまたがる横断質問。

優先改善環節: ②クエリ変換 + ③検索 + ④ランキング
推奨手法:     Query Decomposition + Hybrid RAG + Re-ranking
              または GraphRAG（エンティティ関係が豊富な場合）
理由:         2つの異なるドキュメントをつなぐ必要があるため
              単一の改善では限界がある

MRR推移：シリーズを通じた改善の軌跡

各弾での実測値をもとにした推移：

弾 テーマ Q2 MRR Q3 MRR 全体 MRR
第1弾 Normal RAG 低 低 ベースライン
第2弾 Agentic RAG 改善 改善 再検索で補完
第3弾 Hybrid RAG 改善 改善 BM25でキーワード強化
第4弾 Smart Chunk RAG 改善 改善 構造化チャンク
第5弾 RAG評価 比較基準確立 比較基準確立 定量化
第6弾 Re-ranking RAG 1.000 改善 Cross-Encoder精密化
第7弾 GraphRAG 1.000 1.000 文書横断ブリッジ
第8弾 Query-Optimized - HyDE: 1.000 クエリ変換で補完

2025年の最新動向：「Context Engineering」の台頭

2024〜2025年にかけて起きた重要な変化として、ロングコンテキストLLMの普及があります。

ロングコンテキスト能力の向上はRAGの終焉を意味せず、むしろ「まず検索して、ロングコンテキストで保持する」という相乗効果を生み出している。「検索アルゴリズムの最適化」から「検索・コンテキスト組み立て・モデル推論のエンドツーエンドパイプライン設計」へのシフトが起きており、これが"Context Engineering"という新分野として台頭している。

RAGはなくならない。むしろ、より精緻な「何をコンテキストに入れるか」の設計が重要になっています。

実行環境

項目 内容
LLM claude-haiku-4-5-20251001
Embedding paraphrase-multilingual-MiniLM-L12-v2
Vector DB ChromaDB
評価指標 MRR, Recall@K

シリーズ全弾は Qiita で公開しています。

0
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?