ローカルAI構築記
②Qwen2.5とFAISSで自分のQiita記事を検索するローカルRAGを作ってみた
rag Advent Calendar 2026 11月14日(14日目)に投稿しました。
この記事でわかること
- Qwen2.5とFAISSを利用したローカルRAGの基本構成
- Qiita記事(Markdown)を知識ベースとして利用する方法
- SentenceTransformerによるEmbedding生成方法
- FAISSによるベクトル検索の実装方法
- Qwen2.5とllama.cppを連携した回答生成方法
- 自分の記事を検索しながら回答するローカルRAGの構築例
- 複数記事を横断した比較質問を行う方法
目次
- はじめに
- RAGとは
- 今回構築するシステム
- 使用した環境
- Qiita記事をMarkdownで準備する
- SentenceTransformerによるEmbedding生成
- FAISSインデックス作成
- Qwen2.5との連携
- 実行結果
- 課題と改善点
- まとめ
1. はじめに
前回の記事では、RTX 5060 Laptop GPU環境でQwen2.5-7B GGUFをllama-cpp-pythonとCUDAを用いてローカル実行できるようにしました。
- Windows11 + RTX5060でQwen2.5-7Bをllama.cpp CUDA推論するまで ~ Visual Studio 2026問題の解決方法 ~
https://qiita.com/ahaya/items/520b366b03738910fb1f
そこで今回は、これまでQiitaに投稿した記事を知識ベースとして利用し、ローカル環境で動作するRAG(Retrieval-Augmented Generation)を構築してみます。
システム構成は
Qiita記事(Markdown)
↓
SentenceTransformer
↓
FAISS
↓
関連文書検索
↓
Qwen2.5-7B (llama.cpp)
↓
回答生成
というシンプルな構成を採用し、自分のQiita記事10本を知識ベースとして利用したローカルRAGを試作します。
また、単純な記事検索だけでなく、複数の記事を横断した比較や要約が可能かについても確認してみます。
2. RAGとは
RAG(Retrieval-Augmented Generation:検索拡張生成)は、文書検索と大規模言語モデル(LLM)を組み合わせた仕組みです。
まず関連する文書を検索し、その検索結果を参考情報としてLLMへ渡すことで回答を生成します。
LLM単体では知らない情報や個人の文書も利用できるため、手元の技術メモや記事を知識ベースとして活用できることが特徴です。
3. 今回構築するシステム
今回は、これまでQiitaに投稿した記事をMarkdown形式で保存し、それらを知識ベースとして利用するローカルRAGを構築してみます。
まず、記事を一定長のチャンクへ分割し、SentenceTransformerによってEmbedding(ベクトル化)を行います。
生成したベクトルはFAISSへ登録し、質問が入力された際に関連度の高い記事チャンクを検索します。
検索されたチャンクはQwen2.5-7Bへ渡され、回答生成に利用されます。
システム全体の流れを図1に示します。
図1 ローカルRAGの構成
今回は知識ベースとしてQiita記事10本を利用し、
- Decision Transformer
- OpenStreetMapを用いた交通流予測
- 複数道路ネットワークの共同学習
- Batch LoRA Inference の応用
- ローカルLLM構築
などの記事を検索対象としました。
また、単純な記事検索だけでなく、
Decision Transformerとは?
のような単一記事の検索や、
Decision Transformerと交通流予測モデルではどのように違う?
といった複数記事を横断した比較が可能かについても確認します。
4. 使用環境
今回の実験では、ローカル環境上でQwen2.5-7Bを利用したRAGシステムを構築しました。
| 項目 | 内容 |
|---|---|
| OS | Windows 11 |
| GPU | NVIDIA GeForce RTX 5060 Laptop GPU |
| Python | 3.11 |
| LLM | Qwen2.5-7B-Instruct GGUF |
| 推論エンジン | llama-cpp-python |
| Embedding Model | intfloat/multilingual-e5-small |
| ベクトル検索 | FAISS |
| 開発環境 | PyCharm |
使用した主なライブラリは以下の通りです。
pip install llama-cpp-python
pip install sentence-transformers
pip install faiss-cpu
今回のRAGでは、
- Qwen2.5-7B:回答生成
- SentenceTransformer:Embedding生成
- FAISS:類似文書検索
という役割で利用しています。
5. Qiita記事をMarkdownで準備する
今回は知識ベースとして、これまで私がQiitaに投稿してきた記事を利用します。
Qiitaの記事はMarkdown形式で保存し、RAGの検索対象とします。
今回は以下の10記事を対象としました。
docs/
├─ 01_DecisionTransformer.md
├─ 02_DecisionTransformer.md
├─ 03_DecisionTransformer.md
├─ 01_OSMUxsim.md
├─ 02_OSMUxsim.md
├─ 03_OSMUxsim.md
├─ 04_OSMUxsim.md
├─ 05_OSMUxsim.md
├─ 06_OSMUxsim.md
└─ 01_llm.md
記事の内容は、
- Decision Transformer
- OpenStreetMapを利用した交通流予測
- 複数道路ネットワーク間転移
- Batch LoRA Inferenceの応用
- ローカルLLM構築
などです。
RAGでは文書をそのまま検索するのではなく、一定長のチャンク(文書の断片)へ分割してベクトル化します。
今回はシンプルに500文字ごとへ分割しました。
from pathlib import Path
chunks = []
for f in Path("docs").glob("*.md"):
text = f.read_text( encoding="utf-8" )
for i in range( 0, len(text), 500 ):
chunks.append({"source": f.name,"text": text[i:i + 500]})
print("チャンク数:", len(chunks))
実行結果は以下のようになりました。
チャンク数:145
この145個のチャンクを知識ベースとして利用し、次章でEmbedding生成を行います。
6. SentenceTransformerによるEmbedding生成
RAGでは文書そのものを検索するのではなく、文書をベクトル(Embedding)へ変換して意味検索を行います。
今回はEmbeddingモデルとして、多言語対応の multilingual-e5-small を利用しました。
from sentence_transformers import SentenceTransformer
model = SentenceTransformer(
"intfloat/multilingual-e5-small",
device="cuda"
)
E5系モデルでは、
query:
と
passage:
のプレフィックスを付与することが推奨されています。
そこで、インデックス作成時には各チャンクへ passage: を付与してEmbeddingを生成しました。
texts = [
f"passage: {c['text']}"
for c in chunks
]
embeddings = model.encode(
texts,
convert_to_numpy=True,
show_progress_bar=True
)
検索時には質問へ query: を付与します。
query_vec = model.encode(
[f"query: {query}"],
convert_to_numpy=True
).astype(np.float32)
これにより、
Decision Transformerとは?
という質問に対して、
Decision Transformerは強化学習問題を
系列予測問題として扱うモデルです。
といった意味的に近い文章を検索できるようになります。
今回の実験では145個のチャンクをEmbedding化し、FAISSへ登録するためのベクトルを生成しました。
実行結果は以下のようになりました。
chunks: 145
Batches: 100%|██████████| 5/5
index saved
次章では、生成したEmbeddingをFAISS(Facebook AI Similarity Search)へ登録し、ベクトル検索を行います。
7. FAISSインデックス作成
生成したEmbeddingをFAISSへ登録し、高速なベクトル検索を行えるようにします。
今回はベクトル間の距離計算にL2距離(ユークリッド距離)を用いる IndexFlatL2 を使用しました。
データ件数が145チャンクと小規模なため、近似検索ではなく全探索で精度の高い検索を行います。
import faiss
import numpy as np
import pickle
# FAISSインデックス作成
dimension = embeddings.shape[1]
index = faiss.IndexFlatL2(dimension)
index.add(
embeddings.astype(np.float32)
)
# インデックスとチャンクの対応データを保存
faiss.write_index(
index,
"traffic.index"
)
with open("chunks.pkl", "wb") as f:
pickle.dump(chunks, f)
print("index saved")
これで、検索用のインデックスファイル(traffic.index)と、検索結果から元の文章を取り出すためのチャンクデータ(chunks.pkl)が保存されました。
検索時には質問文をEmbeddingへ変換し、FAISS上で類似度の高いチャンクを取得します。取得したチャンクは後段のQwen2.5-7Bへ渡され、回答生成に利用されます。
8. Qwen2.5との連携
検索されたチャンクをQwen2.5へ渡し、回答を生成します。
今回は llama-cpp-python を利用して、ローカル環境でQwen2.5-7B GGUFを実行しました。
まず、FAISSから検索されたチャンクを結合してコンテキストを作成します。
contexts = []
for chunk in unique_chunks:
text = chunk["text"][:500]
contexts.append(
f"[{chunk['source']}]\n{text}"
)
context = "\n\n".join(contexts)
次に、検索結果を参考資料としてQwenへ渡します。
system_prompt = """
あなたはRAG回答システムです。
回答ルール:
- 参考資料だけを根拠にする
- 推測しない
- 資料にない内容を補完しない
- 不明な場合は「資料中に記載がありません」と答える
"""
prompt = f"""
以下の参考資料を分析してください。
回答時のルール:
- 記事の要約ではなく分析を行う
- 記事同士の共通点と違いを説明する
- 自分の言葉で統合して説明する
- 参照記事名は回答しない
- 技術的な流れが分かるよう説明する
参考資料:
{context}
質問:
{query}
"""
Qwenによる回答生成は以下のように行います。
response = llm.create_chat_completion(
messages=[
{
"role": "system",
"content": system_prompt
},
{
"role": "user",
"content": prompt
}
],
max_tokens=512,
temperature=0.2
)
answer = (
response["choices"][0]
["message"]
["content"]
)
今回の実装では、関連度の高い記事チャンクのみをQwenへ渡すことで、手元のQiita記事を根拠とした回答生成を行います。
また、比較系の質問では複数記事を同時に検索することで、
- 記事の要約
- 記事間の比較
- 共通点や相違点の整理
といった、RAGらしい回答も可能になりました。
質問1: Decision Transformerとは?
入力
Decision Transformerとは?
検索結果
=====使用記事=====
03_DecisionTransformer.md
01_DecisionTransformer.md
02_OSMUxsim.md
context文字数: 1577
unique_chunks: 3
回答時間
約5.9秒
回答(一部抜粋)
Decision Transformerは強化学習問題を系列予測問題として扱うモデルです。
従来の強化学習では環境との相互作用を繰り返しながら方策を学習しますが、
Decision Transformerは事前に収集したエキスパート軌跡のみを利用して学習します。
モデルのベースにはGPTと同じTransformerアーキテクチャが利用されており、
状態、行動、RTG(Return-To-Go)の系列から次の行動を予測します。
Decision Transformerに関する質問に対して、関連する3つのチャンクが検索されました。
検索結果には交通流予測に関する記事も含まれていますが、Qwen2.5はDecision Transformerに関する内容を中心に回答を生成できていることが分かります。
10. 課題と改善点
今回の実験では、自分のQiita記事10本を知識ベースとして利用し、
記事検索や記事横断比較が行えるローカルRAGを構築できました。
一方で、実運用の中ではいくつかの課題も確認されました。
ハルシネーションの発生
RAGを導入しても、LLMによるハルシネーションを完全に防ぐことはできませんでした。
例えば、
Decision Transformerと交通流予測モデルの違い
という質問に対しては、
- Decision Transformerの記事
- 交通流予測の記事
を参照して回答できていましたが、
一部では交通流予測モデルの記事の内容がDecision Transformer側へ混在するケースも見られました。
RAGは回答精度を向上させますが、
- 検索精度
- コンテキスト構築
- プロンプト設計
も重要であることを確認できました。
Context長の制約
当初は検索結果をそのままQwenへ渡していましたが、
Requested tokens exceed context window
というエラーが発生しました。
そこで、
- 類似度の低いチャンクの除外
- 使用チャンク数の制限
- チャンク文字数の制限
を導入し、Context長を制御しました。
小規模データセットでの実験
今回は、
- Qiita記事10本
- 145チャンク
という比較的小規模な知識ベースで実験を行いました。
この規模では十分な検索性能が得られましたが、
今後データ量が増えると検索品質や速度も検証する必要があります。
今後の改善
今後は以下のような改善を試したいと考えています。
- 論文PDFの追加
- より高度なチャンク分割
- Rerankerの導入
- 引用付き回答
- Context長の拡張
- 交通流予測論文を利用した研究支援RAGの構築
特に交通流予測関連の論文PDFを追加することで、
Qiita記事だけでなく論文や技術メモも検索可能な
個人用研究アシスタントへ発展させたいと考えています。
11. 考察
今回の実験では、
- Qiita記事10本
- 145チャンク
- Qwen2.5-7B
- SentenceTransformer
- FAISS
を利用してローカルRAGを構築した。
「Decision Transformerとは?」
という質問では、
- 使用チャンク数:3
- Context長:1577文字
- 回答生成時間:約5.9秒
で回答を得ることができた。
また、
「Decision Transformerと交通流予測モデルの違い」
という複数記事を参照する質問では、
- 使用チャンク数:3
- Context長:1566文字
- 回答生成時間:約16.8秒
で回答を生成できた。
145チャンク程度の小規模データセットでは、
FAISS検索の処理時間はほぼ無視でき、
処理時間の大部分はQwen2.5-7Bによる回答生成であった。
また、単純な記事検索だけでなく、
複数記事を参照した比較や要約も可能であることを確認できた。
一方で、複数記事を利用する質問では情報が混在するケースもあり、
RAGを導入してもハルシネーションを完全には防げないことも確認できた。
12. まとめ
今回は、これまでQiitaに投稿した記事を知識ベースとして利用し、
- SentenceTransformer
- FAISS
- Qwen2.5-7B(llama.cpp)
を組み合わせたローカルRAGを構築しました。
Qiita記事10本をMarkdown形式で保存し、145チャンクへ分割してベクトル化することで、自分の記事を検索しながら回答できる環境を構築できました。
また、
Decision Transformerとは?
のような単純な記事検索だけでなく、
Decision Transformerと交通流予測モデルの違い
といった複数記事を横断する質問にも回答できることを確認できました。
一方で、記事横断的な質問では情報の混在によるハルシネーションも見られ、RAGを導入しても回答品質は検索精度やプロンプト設計に大きく依存することが分かりました。
今回の知識ベースは10記事・145チャンクという小規模なものでしたが、RTX 5060 Laptop GPU環境において実用的な速度で動作することを確認できました。
今後は、
- 交通流予測論文PDFの追加
- より高度なチャンク分割
- Reranker導入
- 引用付き回答
- 研究メモの取り込み
などを行い、自分専用の研究アシスタントへ発展させていきたいと思います。
関連記事
-
ローカルAI構築記 ③ Qwen2.5とFAISSでReAct Agentをスクラッチ実装してみる
https://qiita.com/ahaya/items/97fd1adeb5e8b459aec2 -
ローカルAI構築記 ④前回作ったReAct Agentと比較しながらLangChainの中身を理解する
https://qiita.com/ahaya/items/4432425af222ccf415f8