はじめに

こんにちは。ITフィールドセールスをしている長井洸太です。

最近、企業向けのAI導入案件で「RAG」という言葉をよく耳にします。

ChatGPTは知っているけどRAGは知らない、という方も多いと思うので、仕組みの解説から実際の構築方法、精度改善の手法まで まとめました。

RAGとは何か

RAG（Retrieval-Augmented Generation） とは、AIが回答を生成するときに「外部のドキュメントやデータベース」を検索して参照する仕組みです。

通常のChatGPTとの違いはこうです。

	通常のLLM	RAG
参照するデータ	学習データのみ	学習データ + 外部ドキュメント
最新情報	使えない	使える
社内文書	使えない	使える
ハルシネーション	多い	少ない

社内マニュアル・契約書・議事録などを読ませてQ&Aができるので、企業の情報活用に非常に相性が良いです。

RAGの処理フロー

RAGは大きく「事前準備フェーズ」と「質問応答フェーズ」に分かれます。

事前準備（インデックス作成）

① ドキュメント投入
   PDF / テキスト / Webページ
        ↓
② チャンク分割
   文章を小さなブロックに切り分ける
        ↓
③ ベクトル化（Embedding）
   テキストを数値ベクトルに変換
        ↓
④ ベクトルDBに保存
   Chroma / FAISS / Pinecone など

質問応答（推論）

ユーザーの質問
        ↓
① 質問をベクトル化
        ↓
② ベクトルDBで類似検索（上位N件取得）
        ↓
③ Re-rank（関連度を再スコアリング）
        ↓
④ LLMに「文書 + 質問」を渡す
        ↓
回答生成

Difyで手軽にRAGを構築する

Dify はRAGアプリをGUIとAPIの両方で構築できるOSSプラットフォームです。コードを書かなくてもチャットボットUIが作れるため、検証フェーズに最適です。

ローカル起動（Docker）

git clone https://github.com/langgenius/dify.git
cd dify/docker
docker compose up -d

http://localhost にアクセスするとセットアップ画面が表示されます。

基本的な使い方

ナレッジ からPDF/テキストをアップロード
スタジオ でチャットボットを作成し、ナレッジを紐付ける
APIキーを発行してPythonから呼び出す

import requests

url = "http://localhost/v1/chat-messages"
headers = {
    "Authorization": "Bearer YOUR_API_KEY",
    "Content-Type": "application/json"
}
payload = {
    "inputs": {},
    "query": "社内の有給申請の手順を教えてください",
    "response_mode": "blocking",
    "conversation_id": "",
    "user": "user-001"
}

response = requests.post(url, headers=headers, json=payload)
print(response.json()["answer"])

RAG精度改善の3つのポイント

RAGを動かすだけなら簡単ですが、実用レベルの精度を出すには工夫が必要です。

1. チャンク戦略

ドキュメントをどう分割するかで精度が大きく変わります。

戦略	概要	向いているケース
Fixed Size	固定文字数で分割	シンプルな構造のドキュメント
Semantic	意味の区切りで分割	自然文が多い文書
Hierarchical	大→小の階層構造で保持	章立てのある長文書

チャンクサイズの目安：512〜1024トークン。小さすぎると文脈が失われ、大きすぎるとノイズが増えます。

2. Retrieval改善

検索精度を上げるテクニックです。

Hybrid Search：ベクトル検索 + キーワード検索（BM25）を組み合わせる
HyDE（Hypothetical Document Embedding）：質問から仮の回答を生成してから検索
Multi-query：質問を複数のバリエーションに変換して検索

# LangChainでのMulti-query例
from langchain.retrievers.multi_query import MultiQueryRetriever

retriever = MultiQueryRetriever.from_llm(
    retriever=vectorstore.as_retriever(),
    llm=llm
)

3. Re-rank

ベクトル検索で取得した候補（例：上位20件）を、より精密なモデルで再スコアリングして上位5件に絞ります。

# Cohereのre-rankを使う例
import cohere

co = cohere.Client("YOUR_COHERE_API_KEY")

results = co.rerank(
    query="有給申請の手順",
    documents=retrieved_chunks,  # ベクトル検索で取得したチャンク
    top_n=5,
    model="rerank-multilingual-v3.0"
)

LLMOps：品質をモニタリングする（Langfuse）

本番運用では「どの質問で精度が落ちているか」を可視化することが重要です。

Langfuse を使うと、以下が可視化できます。

各クエリのレイテンシ
使用トークン数・コスト
取得されたチャンクの内容
LLMの入出力ログ

from langfuse import Langfuse

langfuse = Langfuse(
    public_key="YOUR_PUBLIC_KEY",
    secret_key="YOUR_SECRET_KEY"
)

trace = langfuse.trace(name="rag-query")
span = trace.span(name="retrieval", input={"query": user_query})
# ... 検索処理 ...
span.end(output={"chunks": retrieved_chunks})

まとめ

RAGの精度改善は「取得（Retrieval）」と「生成（Generation）」の両方に手を入れる必要があります。

フェーズ	手法
取得	チャンク戦略、Hybrid Search、Re-rank
生成	プロンプト改善、Few-shot例示
運用	Langfuseでモニタリング

まずは Difyをローカルで立ち上げてPDFを投入する ところから始めると、全体の流れがつかみやすいです。

参考リンク

ITフィールドセールスの視点から、AI・自動化について発信しています。フォローや「いいね」していただけると励みになります。