はじめに
RAG の小さい検証をしていると、私はつい「回答に使うモデル」を決めた流れで embedding まで同じ設定に寄せそうになります。
ただ、実際には embedding は検索用のベクトルを作る処理で、回答生成とは見るべきものが少し違います。回答生成モデルを変えたのに検索結果が悪いままだったり、embedding のモデルを変えたのに回答文の癖を見てしまったりします。
今回は LlamaIndex の Settings.llm と Settings.embed_model を分けて、LLM_MODEL と EMBEDDING_MODEL を別々の env に置く最小構成を作りました。Flatkey AI のような OpenAI 互換 base URL を使う場合も、考え方としては「base URL と key は共通、モデル名は段階ごとに分ける」だけにしておくと扱いやすいと思います。
なお、この記事の transcript は社内情報を出さないために redacted docs と local deterministic adapter で確認したものです。実 API で使うモデル名は、自分の key で有効な embedding model と chat model に置き換えてください。
環境
今回確認した環境です。
| 項目 | 値 |
|---|---|
| Python | 3.12.3 |
llama-index-core |
0.14.23 |
llama-index-llms-openai-like |
0.7.2 |
llama-index-embeddings-openai-like |
0.3.1 |
openai |
2.45.0 |
インストールはこの形にしました。
python -m venv .venv
source .venv/bin/activate
python -m pip install \
llama-index-core \
llama-index-llms-openai-like \
llama-index-embeddings-openai-like
ここで少しだけハマりました。llama-index-embeddings-openai の OpenAIEmbedding(model=...) は、任意の OpenAI 互換 router の embedding model ID をそのまま受ける用途ではなく、組み込みの OpenAI embedding model 名に寄っています。
そのため、OpenAI 互換の base URL に対して任意の embedding model 名を渡したい場合は、この記事では OpenAILikeEmbedding(model_name=...) を使います。
env を分ける
私が残したかったのは、この 4 つです。
export OPENAI_BASE_URL="https://router.flatkey.ai/v1"
export OPENAI_API_KEY="sk-..."
export LLM_MODEL="your-chat-model"
export EMBEDDING_MODEL="your-embedding-model"
OPENAI_BASE_URL と OPENAI_API_KEY は共通です。一方で、LLM_MODEL と EMBEDDING_MODEL は別にしています。
ここを 1 つの MODEL にしてしまうと、あとで「検索の失敗なのか、回答生成の失敗なのか」を見直すときにだいぶ雑になります。RAG は小さくても embed -> retrieve -> answer に分かれるので、env もその単位に合わせた方が私は読み返しやすいです。
LlamaIndex の設定を分ける
最小コードはこんな形です。文書は記事用に短いサンプルを直書きしています。
import os
from llama_index.core import Document, Settings, VectorStoreIndex
from llama_index.embeddings.openai_like import OpenAILikeEmbedding
from llama_index.llms.openai_like import OpenAILike
BASE_URL = os.environ["OPENAI_BASE_URL"]
API_KEY = os.environ["OPENAI_API_KEY"]
LLM_MODEL = os.environ["LLM_MODEL"]
EMBEDDING_MODEL = os.environ["EMBEDDING_MODEL"]
Settings.llm = OpenAILike(
model=LLM_MODEL,
api_base=BASE_URL,
api_key=API_KEY,
is_chat_model=True,
temperature=0,
)
Settings.embed_model = OpenAILikeEmbedding(
model_name=EMBEDDING_MODEL,
api_base=BASE_URL,
api_key=API_KEY,
)
docs = [
Document(
text=(
"Flatkey AI の OpenAI-compatible BASE_URL は RAG の "
"LLM_MODEL と EMBEDDING_MODEL で共通に使う。"
),
metadata={"doc_id": "env"},
),
Document(
text=(
"RAG では EMBEDDING_MODEL が文書と質問を vector 化し、"
"retriever が context を選ぶ。回答生成は LLM_MODEL の責務。"
),
metadata={"doc_id": "rag"},
),
]
index = VectorStoreIndex.from_documents(docs)
query_engine = index.as_query_engine(similarity_top_k=2)
question = "RAG で LLM_MODEL と EMBEDDING_MODEL はどう分ける?"
response = query_engine.query(question)
print(response)
for source in response.source_nodes:
print(source.node.metadata, source.score)
大事なのは、Settings.llm と Settings.embed_model を別の object にしているところです。
LlamaIndex の query engine は、この設定を使って文書側の embedding、質問側の embedding、retrieve、回答生成を進めます。細かい index の永続化や chunking は本番では別途考えるとして、最初の検証ではここまで小さくても十分に切り分けの形が見えます。
小さい transcript
この記事用の検証では、実 API key を出さずに local adapter で同じ構成を確認しました。回答生成側と embedding 側の model name は別々です。
| stage | model |
|---|---|
| answer | local-fixture-answer-model |
| embedding | local-keyword-embedding-model |
実行 transcript はこうなりました。
{
"question": "RAG で LLM_MODEL と EMBEDDING_MODEL はどう分ける?",
"answer": "LLM_MODEL は回答生成に使い、EMBEDDING_MODEL は文書と質問のベクトル化に使う。BASE_URL と API_KEY は共通にして、usage は stage ごとにログへ分ける。",
"sources": [
{
"doc_id": "rag",
"score": 0.917365
},
{
"doc_id": "env",
"score": 0.677003
}
]
}
ここで見たいのは回答の賢さではなく、LlamaIndex の query engine が「embedding 用の設定」と「回答生成用の設定」を別々に持てることです。RAG 品質の評価は、このあとに検索結果、回答、引用、失敗例を別に集めないと雑になると思います。
usage を見るときに混ぜない
実 API で動かすときは、私は最低限この 3 つをログに出すようにしています。
print(
{
"stage": "rag_answer",
"llm_model": LLM_MODEL,
"embedding_model": EMBEDDING_MODEL,
"top_k": 2,
}
)
本当は embedding request と answer request の token usage まで同じログで揃えたいところです。ただ、LlamaIndex の高水準 API だけに寄せると、ライブラリ側の callback や provider 側のレスポンス形式に依存します。
そのため最初の検証では、まず LLM_MODEL と EMBEDDING_MODEL を env とログに残し、Flatkey AI の dashboard など OpenAI 互換 gateway 側で model 別の request を見る方が現実的だと思います。モデル別に usage が見えると、embedding の呼び出し回数が増えているのか、回答生成の token が重いのかをあとから話しやすくなります。
本番に近づけるときに増やすもの
今回のコードはかなり小さくしています。本番に近づけるなら、私はまず chunk の作り方、index の保存先、再作成のタイミングを足します。特に embedding model を変えると vector の次元や分布が変わるので、既存 index をそのまま使い回さない方が安全だと思います。
もう一つ足すなら評価用の質問セットです。RAG は 1 回の質問に答えられても、別の聞き方で context が外れることがあります。回答生成モデルだけを見ていると気づきにくいので、検索結果の doc_id と score も一緒に保存しておくと、あとで反省しやすいです。
ハマったポイント
一つ目は、embedding model の availability です。pricing や catalog に見える model が、今の key や group で必ず呼べるとは限りません。これは router や gateway を使うときに特に混ざりやすいので、記事中では具体モデルを万能なおすすめとして書かないようにしました。
二つ目は、OpenAIEmbedding と OpenAILikeEmbedding の違いです。私は最初 OpenAIEmbedding(model="your-embedding-model") の形でよさそうに見えたのですが、手元の version では model 名が enum として検証されました。任意の OpenAI 互換 embedding model ID を env から渡すなら、今回のように OpenAILikeEmbedding(model_name=...) の方が目的に合っていました。
三つ目は、RAG の失敗原因を一文で決めないことです。検索に失敗しているのに回答生成モデルだけ強くしても直らないことがありますし、逆に context は取れているのに回答が薄いこともあります。だからこそ、最初から env を分けておくのは地味に効くと思います。
まとめ
LlamaIndex で小さく RAG を作るだけなら、Settings.llm と Settings.embed_model を分けるだけで、LLM と Embedding の責務をかなり見やすくできます。
私は次から、RAG のサンプルでも MODEL を 1 つだけ置かずに、少なくとも LLM_MODEL と EMBEDDING_MODEL は分けて残そうと思いました。Flatkey AI のように one key で複数 model を扱える環境では、この分け方にしておくと後から usage や model 変更の理由を追いやすいです。
参考
間違いあったらコメントください。よろしくお願いします。