はじめに
日本語の文章を扱うRAG（Retrieval-Augmented Generation）システムを、Windows 11環境で構築したときの備忘録です。
主な構成は以下の通り：
- LLM: Ollama（TokyoTech Swallow 8B）
- Embeddingモデル: mxbai-embed-large
- ベクトルデータベース: PostgreSQL + PGVector
- ドキュメント: 日本語のpdf(検証用の創作物語)
1. 環境構築（Ollama, PostgreSQL + PGVector）
Ollama や PostgreSQL + PGVector の導入手順は以下の外部記事を参考にしました。
Ollamaのインストール方法
PostgreSQL + PGVector のインストール方法
使用モデル：
-
LLM：
hf.co/mmnga/tokyotech-llm-Llama-3.1-Swallow-8B-Instruct-v0.3-gguf:latest -
埋め込みモデル：
mxbai-embed-large
データベース設定（例）：
データベース名：postgres
ユーザー名：postgres
パスワード：pass
2. 必要モジュールのインストール
以下のコマンドで必要なパッケージをインストールします：
pip install langchain langchain-community langchain-postgres langchain-ollama
pip install "psycopg[binary]" unstructured[all-docs]
3. コード①：PDFの読み込みとベクトルデータベースへの登録
日本語PDFを読み込み、テキストを分割し、Ollamaでベクトル化した上で、PGVectorに保存します。
from langchain.document_loaders import UnstructuredFileLoader
from langchain_text_splitters import CharacterTextSplitter
from langchain_postgres import PGVector
from langchain_ollama import OllamaEmbeddings, ChatOllama
# LLMの初期化（Ollamaに接続）
llm = ChatOllama(
model="hf.co/mmnga/tokyotech-llm-Llama-3.1-Swallow-8B-Instruct-v0.3-gguf:latest",
base_url="http://localhost:11434",
temperature=0,
seed=0,
)
# PDFファイルの読み込み（日本語対応・ページ単位）
loader = UnstructuredFileLoader("./test.pdf", mode='paged', languages=['ja'])
documents = loader.load()
# テキストをチャンク（分割）に分ける
text_splitter = CharacterTextSplitter(
chunk_size=600, # 1チャンクあたりの文字数
chunk_overlap=20, # チャンク同士の重複（文脈保持のため）
separator="\n" # 改行で分割
)
docs = text_splitter.split_documents(documents)
# Embeddingモデルの設定
embeddings = OllamaEmbeddings(model='mxbai-embed-large')
# PostgreSQL + PGVector に接続
connection = "postgresql+psycopg://postgres:pass@localhost:5432/postgres"
collection_name = "test"
# インデックスを新規作成
vectorstore = PGVector(
embeddings=embeddings,
collection_name=collection_name,
connection=connection,
use_jsonb=True,
pre_delete_collection=True,
)
# ドキュメントをベクトルDBに追加
vectorstore.add_documents(docs)
📌補足：
PyPDFLoader ではpdfファイルによっては文字化けが発生したため、UnstructuredFileLoader を使用しました。
from langchain_community.document_loaders import PyPDFLoader
loader = PyPDFLoader(file_path='test.pdf')
ちなみにpdfの中身は架空の人物"Kタロウ"の物語を適当に制作したもの。
📄 使用したPDFの中身（ばｓ）
知恵者Kタロウの物語。
昔々、京の都の西にある小さな山村に、「Kタロウ」という名の若者が住んでおった。
年は二十歳を少し超えたばかり。村の者たちは皆、...
🗄 データベースの中身
テーブル：langchain_pg_embedding に保存されます。
4. コード②：質問応答チェーンの構築と実行
保存したベクトル情報を使い、LLMを通じて質問に答える処理を実装します。
from langchain_postgres import PGVector
from langchain.chains.retrieval import create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_ollama import OllamaEmbeddings, ChatOllama
from langchain import hub
# LLMの設定（前と同様）
llm = ChatOllama(
model="hf.co/mmnga/tokyotech-llm-Llama-3.1-Swallow-8B-Instruct-v0.3-gguf:latest",
base_url="http://localhost:11434",
temperature=0,
seed=0,
)
# Embeddingの再設定
embeddings = OllamaEmbeddings(model='mxbai-embed-large')
# PGVectorに接続
connection = "postgresql+psycopg://postgres:pass@localhost:5432/postgres"
collection_name = "test"
vectorstore = PGVector.from_existing_index(
embedding=embeddings,
collection_name=collection_name,
connection=connection,
use_jsonb=True
)
# LangChain Hubから質問応答用のプロンプトテンプレートを取得
retrieval_qa_chat_prompt = hub.pull("langchain-ai/retrieval-qa-chat")
# ドキュメントを統合するチェーンを作成
combine_docs_chain = create_stuff_documents_chain(llm, retrieval_qa_chat_prompt)
# RAGの質問応答チェーンを構築
retrieval_chain = create_retrieval_chain(vectorstore.as_retriever(), combine_docs_chain)
# 質問を投げる
res = retrieval_chain.invoke({"input": "Kタロウに関して教えてください。"})
# 回答を出力
print(res["answer"])
得られた回答は以下の通り。pdfの内容を参照して回答してくれていることを確認しました。
✅ 出力結果
Kタロウについて、以下の情報が分かっています。
* **知恵者:** 村人から「知恵者K」と呼ばれるほど、頭が良く、問題解決能力に優れている。
* **謎の事件を解決:** 村の田畑に現れた謎の黒い影（実は夜猿）の正体を見破り、その原因と対策を提示した。
* **村のために尽力:** 村の発展のために、様々な難問を解き続け、「東山の賢者」として広く知られるようになった。...
6. おわりに
RAGの構築に際して、Ollama + LangChain + PGVectorの構成は思ったよりシンプルでした。ローカルで完結する点も安心材料です。GUIも試してみたいと思います。