シンプルRAG開発（LangChain + OpenAI）

はじめに

LangChainとOpenAI APIを使ってシンプルなRAGを作ってみた。

• 検索対象ドキュメント：ローカルにあるPDFファイル
• embeddingモデル：OpenAIのtext-embedding-ada-002
• ベクトルDB：LangchainのInMemoryVectorStore
• LLM：OpenAIのgpt-4o-mini

構成

• 図のような構成で、基本的にRAG・AIエージェント本で説明されていたものと同じ。
• 検索対象をローカルのPDFファイルにして、ベクトルDBをInMemoryVectorStoreにした点が異なる。
• 流れは以下の通り。
  • ドキュメントをベクトル化して、ベクトルDBに格納。
  • ユーザーの質問をベクトル化して、ベクトルDBを検索。
  • プロンプトにユーザーの質問と検索結果のドキュメントデータを入れ、LLMに入力。
  • LLMが回答を出力。

実装

Pythonと主なライブラリのバージョン

• python==3.10.15
• langchain==0.3.9
• langchain-community==0.3.8
• langchain-core==0.3.21
• langchain-openai==0.2.10

※ OSはMac

ドキュメントの用意

• 内閣府が公開している月例経済報告のpdfファイルをダウンロードして使うことにする。
  • https://www5.cao.go.jp/keizai3/getsurei/getsurei-index.html
• 今回は9月、10月、11月の3つのpdfファイルを使う。

OpenAIのAPIキーの設定

• 実行するpythonファイルと同じ階層に.envファイルを作成。
• .envファイルにOpenAIのAPIキーを記載。

.env

OPENAI_API_KEY="your-api-key"

• python-dotenvで環境変数を設定。

from dotenv import load_dotenv

load_dotenv()

ドキュメントの読み込み

• LangChainのPyPDFLoaderを使って読み込む。
• pdfファイルはページ単位で読み込む。

from langchain_community.document_loaders import PyPDFLoader

# pdfファイルのリスト
file_paths = ["./内閣府月例経済報告_202409.pdf", "./内閣府月例経済報告_202410.pdf", "./内閣府月例経済報告_202411.pdf"]

# pdfファイルの各ページを格納するリスト
pages = []

for file_path in file_paths:
    loader = PyPDFLoader(file_path)
    
    for page in loader.load():
        pages.append(page)

ドキュメントのベクトル化とベクトルDBへの格納

• OpenAIのembeddingモデルtext-embedding-ada-002を使ってドキュメントをベクトル化。
• LangchainのInMemoryVectorStoreをベクトルDBとして使う。

from langchain_core.vectorstores import InMemoryVectorStore
from langchain_openai import OpenAIEmbeddings

vector_store = InMemoryVectorStore.from_documents(pages, OpenAIEmbeddings())

RAG chainの作成

• RAGを実現するchainは、LCEL(LangChain Expression Language)で記載。
  • Prompt template、LLM model、Output parserを繋げる基本の形を採用。
• ChatPromptTemplateでプロンプトのテンプレートを作る。
  • ユーザーの質問が変数questionに入り、ベクトルDBの検索結果が変数contextに格納される。
• ChatOpneAIでLLMの設定をする。
• 検索を行うretriverはvectore_storeのas_retrieverメソッドで設定。
  • as_retrieverはデフォルトで類似検索を行う。
  • as_retrieverの引数search_kwargsを使って、検索方法を指定することができる。
    • search_kwargs={"k": 3} は、検索結果を３個に絞っている。

from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough
from langchain_openai import ChatOpenAI

prompt = ChatPromptTemplate.from_template('''
以下の文脈だけを踏まえて質問に回答してください。
                                          
文脈: """
{context}
"""

質問: {question}                                          
''')

model = ChatOpenAI(model="gpt-4o-mini", temperature=0)

retriever = vector_store.as_retriever(search_kwargs={"k": 3})

chain = {
    "question": RunnablePassthrough(),
    "context": retriever,
} | prompt | model | StrOutputParser()

RAGによる回答

• chainのinvokeメソッドを使い、質問をインプット。

query = "11月の月例経済報告の開催日は？"
chain.invoke(query)

• 以下のようにドキュメントの情報を元にLLMが回答してくれた。

'11月の月例経済報告の開催日は令和6年11月26日です。'

• 別の質問：9月の製造業での雇用人員判断DIは？
• 回答：

'9月の製造業での雇用人員判断DIは－22です。'

参考

• LangChainとLangGraphによるRAG・AIエージェント［実践］入門
  • https://gihyo.jp/book/2024/978-4-297-14530-9
• LangChain公式サイト
  • https://python.langchain.com/docs/introduction/