はじめに

RAGを本番運用し始めると、こんな問題が起きます。

「PoCのときは月$20だったのに、本番に入ったら月$300になった」

原因のほとんどは、コンテキストに大量のドキュメントを詰め込んでいることです。

本記事では、RAGシステムでAPIコストが膨らむ構造的な原因と、Flatkey AIを使った実践的な対処法を解説します。

なぜRAGのAPIコストは膨らむのか

RAGの基本構造はこうです。

ユーザーの質問
  ↓
ベクトル検索で関連ドキュメントを取得
  ↓
ドキュメント + 質問をLLMに渡す
  ↓
回答を生成

コストが膨らむポイントは主に3つです。

① 取得ドキュメントの量が多すぎる

関連性が低いドキュメントまで上位10〜20件取得して全部渡すと、入力トークンが爆発します。

# NG: 関係ないドキュメントまで大量に渡す
docs = vectorstore.similarity_search(query, k=20)
context = "\n".join([doc.page_content for doc in docs])
# → 入力トークンが数万になることも

② チャンクサイズが大きすぎる

ドキュメントを分割するときのチャンクサイズが大きいと、1件あたりのトークン数が増えます。

③ 全リクエストに最高性能モデルを使っている

RAGの用途によって、必要な精度は違います。社内FAQ検索と高度な分析レポートに、同じモデルを使う必要はありません。

対処法1：取得件数を絞り、スコアで足切りする

# OK: 関連性スコアで足切りする
docs_with_scores = vectorstore.similarity_search_with_score(query, k=5)
threshold = 0.75
filtered_docs = [
    doc for doc, score in docs_with_scores
    if score >= threshold
]
context = "\n".join([doc.page_content for doc in filtered_docs])

関連性の低いドキュメントを除外するだけで、入力トークンを30〜50%削減できるケースがあります。

対処法2：タスク別にモデルを使い分ける

すべてのRAGリクエストに最高性能モデルを使う必要はありません。

from openai import OpenAI

client = OpenAI(
    api_key="sk-あなたのFlatKeyキー",
    base_url="https://router.flatkey.ai/v1"
)

def rag_query(question: str, context: str, task_type: str = "general"):
    model_map = {
        "faq":      "openai/gpt-4o-mini",           # 社内FAQ（軽量）
        "general":  "anthropic/claude-sonnet-4-5",  # 一般的な質問
        "analysis": "anthropic/claude-opus-4-8",    # 深い分析が必要な場合
    }
    model = model_map.get(task_type, "anthropic/claude-sonnet-4-5")

    response = client.chat.completions.create(
        model=model,
        messages=[
            {
                "role": "system",
                "content": f"以下のコンテキストに基づいて回答してください：\n\n{context}"
            },
            {
                "role": "user",
                "content": question
            }
        ]
    )
    return response.choices[0].message.content

1本のAPIキー（Flatkey AI）で、Claude・GPT・DeepSeekをタスクに応じて使い分けられます。

対処法3：プロンプトキャッシュを活用する

固定のシステムプロンプトやドキュメントベースは、先頭に置くことでキャッシュヒット率が上がります。

Flatkey AIのClaude Officialグループでは、キャッシュ入力が $0.27/1M（通常入力の1/10）になります。

# キャッシュを意識した構造
messages = [
    {
        "role": "system",
        # ← ここに固定コンテンツを置くとキャッシュされやすい
        "content": FIXED_SYSTEM_PROMPT + FIXED_KNOWLEDGE_BASE
    },
    {
        "role": "user",
        # ← ここだけが毎回変わる
        "content": f"コンテキスト：{dynamic_context}\n\n質問：{question}"
    }
]

コスト削減の試算

月間10万リクエスト、平均入力2,000トークン・出力500トークンのRAGシステムの場合：

構成	月額コスト
全リクエストにClaude Opus（公式直接）	約$1,250
タスク別モデル分散 + Flatkey AI	約$180〜$300

※ タスク構成・キャッシュヒット率によって変動します。

Flatkey AIで始める

招待リンクから登録すると $10のテスト額度が追加付与されます（クレカ登録不要）。

👉 https://console.flatkey.ai/sign-up?aff=BunB

まとめ

RAGのAPIコストを削減する3つの対処法：

取得件数を絞り、スコアで足切りする（入力トークンを削る）
タスク別にモデルを使い分ける（1本のKeyでClaude/GPT/DeepSeekを切り替え）
プロンプトキャッシュを活用する（固定コンテンツをキャッシュに乗せる）

Flatkey AIを使えば、1本のAPIキーで全モデルのコストをダッシュボードで一元管理できます。