RAGの錬成術 ~入門編~
（入門編と書いてますが、これは筆者の技術スタックがアレだからです。誤りなどは寛大な心で許していただけると助かります、、、）
はじめに
- この記事は「とにかくRAGを作りたい！」という人を読者として想定しています。
- サービスをデプロイしたり、機密情報を扱ったりすることは特に想定していないのであしからず。
- もちろん使用は自己責任でお願いします。
- コードは安全な環境で実行してください。
- APIでサクッとRAGの作り方は3つある
- OPENAIのASSISTANTS APIを使う方法
- langchainで実装する方法
- 自分でベクトルDBを作る方法
- （他にもDifyやAzure-OpenAI等を使う方法もあるが、割愛）
- 上が簡単で、下に行くほど実装が難しくなるが、カスタマイズができるようになる。
RAGとは
- RAGとはRetrieval Augmented Generationの略で、ChatGPTをはじめとする生成AIに文書から抽出した文献を与えることで、その機能を拡張する概念である。
- 様々な方法があり、一般的なベクトル検索から、検索キーワードをChatGPTにこたえさせたり、答えが見つかるまで有限ノックさせる方法もある。
- 文献は下記参照
OPENAIのASSISTANTS APIを使う方法
- OpenAIのFunction Callingの一つ(?)である、File Searchを使う。
WEBで触るところ（APIでも触ることはできるが、今回は割愛。）
- まずは、https://platform.openai.com/ にアクセスする。必要に応じてログインし、「Storege」をクリックする。
- 「Vector Stores」をクリックして、「Create」をクリックする
- 「Vector Store」を作成出来たら、「Add files」をクリック
- RAGしたいファイルをアップロードして、Attachをクリックする。
- 出来たら、右下の「Create Assistant」を一回クリックして、「Assistants」タブに移動する
- そうするとAssistants APIができているので、必要に応じて、System InstructionやModelを適当に調整する。また、File SearchがONになっていることを確認する。
- その後、PlayGroundに行って動作を確認する。
- Assistants IDを保管しておく。
Pythonで触るところ
- 参考:https://platform.openai.com/docs/assistants/quickstart?context=without-streaming
- 準備できたら、Pythonで以下のコードを実行する。
import getpass
import os
# API KEYをコードにベタ打ちしないように、getpassで取得する。
# このコードを実行すると、入力画面になるので、そこで入力する。
os.environ["OPENAI_API_KEY"] = getpass.getpass("Enter your OpenAI API key: ")
from openai import OpenAI
prompt = "ここに聞きたいプロンプトを書く"
assistants_id = "先ほど保存したASSISTANTS IDをここに書く"
client = OpenAI()
thread = self.client.beta.threads.create() # Threadを作成
message = self.client.beta.threads.messages.create(
thread_id=thread.id, # 先ほど作成したthreadを利用
role="user", # roleはuser
content=prompt, # 先ほど定義したプロンプトを入力。
)
run = self.client.beta.threads.runs.create_and_poll(
thread_id=thread.id,
assistant_id=assistant.id
)
if run.status == 'completed':
messages = client.beta.threads.messages.list(
thread_id=thread.id
)
print(messages)
else:
print(run.status)
きちんと出力出来たらOK
Langchainを使う方法
後日追記
ベクトルストアを使う方法
後日追記