はじめに
n番煎じですが，OpenAI API＋Langchain＋Faissを使用するRAG環境の構築をします．RAG用のテキストファイルのサンプルは用意していないため，適当にテキストファイルを作成して使用してください．
ディレクトリ構成
ややこしいですが，ディレクトリ構成は以下のようになります．
llm_test
|- code
| |- main.py # mainの関数
|
|- workspace
| |- make_index.py # RAG用のindexを作成
| |- convert_prompt_json.py # LLMへ入れるプロンプトのテンプレートを作成
|
|- database
| |- source # RAG用のindexの元となるテキストファイル(自前で用意してください)
| | |- *.txt
| | |- *.txt
| | |- *.txt
| |
| |- index # RAG用のindexを保管 (make_index.pyで作成)
| | |- index.faiss
| | |- index.pkl
| |
| |- question_prompt_templete.txt # プロンプト文のテンプレートテキスト(自前で用意してください)
| |- question_prompt_templete.json # テンプレートテキストをlangchain用に変換したjson(convert_prompt_json.pyで作成)
|
|-Dockerfile
|-requirements.txt
.env # 環境変数を管理
docker-compose.yaml
以下でそれぞれの中身を説明します．
Dockerfile
Dockerファイルの中身は以下の通りです．中身はシンプルで，単にPython環境にpipで必用なモジュールをインストールしているだけです．今回はprod(本番環境用)しか作成していませんが，必用があればbaseを継承してdev環境を作成することもできます．
Dockerfile
FROM python:3.11 AS base
ENV PYTHONDONTWRITEBYTECODE=1
ENV PYTHONUNBUFFERED=1
RUN \
--mount=type=cache,target=/var/lib/apt/lists \
--mount=type=cache,target=/var/cache/apt/archives \
apt-get update \
&& apt-get install -y --no-install-recommends build-essential
WORKDIR /code
COPY ./requirements.txt /code/requirements.txt
RUN pip3 install --no-cache-dir -U pip && \
pip3 install --no-cache-dir -r /code/requirements.txt
FROM base AS prod
WORKDIR /code
COPY /code .
COPY workspace/ /workspace
requirements.txt
雑なのでバージョンは指定していません．今回必用なモジュールだけ入っています（langchain-communityはいらないかも）．
requirements.txt
langchain
langchain-core
langchain-community
langchain-openai
faiss-cpu
unstructured
openai
.env
OpenAIから取得したAPIキーを書くだけです．
.env
OPENAI_API_KEY = "{ここにAPI KEYを書く}"
docker-compose.yaml
コンテナ1つだけだからdocker-composeを使う必要があるかは微妙ですが，実行するのが楽なので使います．databaseを分離する必要があるときには使えると思います．今回はbindマウントしてしまいます．
docker-compose.yaml
services:
llm_test:
image: llm_test
container_name: llm_test
env_file: ./.env
build:
context: ./llm_test
dockerfile: Dockerfile
target: prod
volumes:
- type: bind
source: ./llm_test/database
target: /database
workspaceの中身
convert_prompt_json.py
question_prompt_templete.txtに書かれたLLMへ入力する用の文をlangchainですぐに読み込めるようにjsonに変換しておくプログラムです．
question_prompt_templete.txtには以下のような文章が入っている想定です．
question_prompt_templete.txt
あなたは質問を受け付け、専門知識を基に回答するアドバイザーです。
ユーザからの質問と、その回答で利用できるドキュメントの情報があります。
[回答生成の手順]の通りに、ユーザの質問に対する回答を生成してください。
<回答生成の手順>
- [制約] [ドキュメントの内容]をすべて理解してください。
- [制約]は、回答を生成する際に守らなければならないことです。必ず従ってください。
- [ドキュメントの内容]には、参考にするべきドキュメントが含まれています。ドキュメントはデータベースに保存されており、質問の内容をもとに必用な情報が与えられます。
- このあとユーザからの質問が続きますので、ユーザの質問を理解してください。
- ユーザからの質問が、ユーザの最も知りたいことなので、最重視してください。
- [ドキュメントの内容]の中から、ユーザの質問に関連する情報を見つけ、その情報をもとに回答を行ってください。
- その際、[制約]に必ず従ってください。
</回答生成の手順>
<制約>
- 質問に関係のない[ドキュメントの内容]は無視し、質問に関係のあるドキュメントにのみ基づいて回答してください。
- 回答は平易な日本語で答えてください。
- 回答はユーザの読みやすさを考慮して必要に応じて箇条書きや構造的な文章にしてください。
</制約>
<ドキュメントの内容>
{context}
</ドキュメントの内容>
<質問>
{question}
</質問>
回答:
上記の文章をlangchain用のテンプレートへ変換するプログラムは以下の通りです．
convert_prompt_json.py
from langchain_core.prompts import PromptTemplate
def main(prompt_path, output_path):
with open(prompt_path, "r") as f:
prompt = f.read()
prompt_template = PromptTemplate(
templete=prompt,
input_variables=['context', 'question']
)
prompt_templete.save(output_path)
if __name__ == '__main__':
prompt_path = "/database/question_prompt_templete.txt"
output_path = "/database/question_prompt_templete.json"
main(prompt_path, output_path)
make_index.py
今回は日本語の文章を対象にシンプルに"。"でチャンキングするようにします．Faissで
OpenAIの埋め込みモデルを使用してベクトル化後，indexにします．
make_index.py
import os
from langchain_community.document_loaders import DirectoryLoader
from langchain.text_splitter import CharacterTextSplitter
from langchain_community.vectorstores.faiss import FAISS
from langchain_openai import OpenAIEmbeddings
def make_text_document(dir):
loader = DirectoryLoader(dir)
document_list_simple = loader.load_and_split(
text_splitter=CharacterTextSplitter.from_tiktoken_encoder(
chunk_size=256,
chunk_overlap=50,
separator="。",
)
)
return document_list
def main():
text_dir = '/database/source'
output_dir = '/database/index'
OPENAI_API_KEY = os.environ.get("OPENAI_API_KEY")
document_list = make_text_document(text_dir)
embeddings = OpenAIEmbeddings(model='text-embedding-3-small', api_key=OPENAI_API_KEY)
os.makedirs(output_dir, exist_ok=True)
index = FAISS.from_documents(
documents=document_list,
embedding=embeddings,
)
index.save_local(
folder_path=output_dir,
index_name='index'
)
codeディレクトリの中身
main関数が入っています．質問を受け取って，langchainのRetrievalQAに突っ込むだけでRAGが実装できます．
main.py
import argparse
import os
from langchain_community.vectorstores.faiss import FAISS
from langchain_openai import OpenAIEmbeddings
from langchain_openai import ChatOpenAI
from langchain.prompts import load_prompt
from langchain.chains import RetrievalQA
def get_args():
parser = argparse.ArgumentParser()
parser.add_argument('--index_dir', type=str, default='/database/index')
parser.add_argument('--index_name', type=str, default='index')
parser.add_argument('--retrieve_search_num', type=int, default=6)
parser.add_argument('--prompt_templete_path', type=str, default="/database/question_prompt_templete.json")
parser.add_argument('-q', '--question', type=str)
# OpenAI
parser.add_argument('--openai_model', type=str, default='gpt-4o-mini')
parser.add_argument('--openai_embeddings', type=str, default='text-embedding-3-small')
parser.add_argument('--openai_key', type=str)
return parser.parse_args()
def main():
args = get_args()
if not args.openai_key:
try:
args.openai_key = os.environ['OPENAI_API_KEY']
except KeyError:
raise ValueError("Please provide the OpenAI API key. You can provide it as an argument or set it as .env file.")
embeddings = OpenAIEmbeddings(model=args.openai_embeddings, api_key=args.openai_key)
llm = ChatOpenAI(model=args.openai_model, api_key=args.openai_key)
index = FAISS.load_local(
folder_path=args.index_dir,
index_name=args.index_name,
embeddings=embeddings,
allow_dangerous_deserialization=True
)
question_prompt = load_prompt(os.path.join(args.prompt_templete_path))
chain = RetrievalQA.from_chain_type(
llm=llm,
retriever=index.as_retriever(
search_kwargs={'k': args.retrieve_search_num} # indexから上位いくつの検索結果を取得するか
),
chain_type_kwargs={"prompt": question_prompt}, # プロンプトをセット
chain_type="stuff", # 検索した文章の処理方法
return_source_documents=True # indexの検索結果を確認する場合はTrue
)
if args.question:
question = args.question
response = chain.invoke(question)
for i, source in enumerate(response["source_documents"]):
print(f"\nindex: {i+1}----------------------------------------------------")
print(f"{source.page_content}")
print("---------------------------------------------------------------")
response_result = response["result"]
print(f"\nAnswer: {response_result}")
動かし方
1 Dockerファイルをビルド
docker-compose build
# うまくいかないときは
docker-compose build --no_cache
2 コンテナを起動
docker-compose run -it llm_test bash
3 コンテナ内で以下を実行
python3 main.py -q "質問したい内容"
終わりに
LLM+RAGの環境を雑に作ってみました．ライブラリが整理されてるおかげでめっちゃくちゃ簡単に作れるのでぜひお試しください．