はじめに
Agentic RAGの検索品質改善は『変えて→測る』の繰り返し。ところがe2eで測るたびにエージェントのLLM従量課金が乗る。
これをClaude Codeの定額プランに肩代わりさせて、1周50ドルの検証を0.01ドル未満にした方法を紹介する。従量課金を払ったのは、方針が固まった後の答え合わせ1回だけだった。
やったことはLLMの仕事のうち検証に効く最小単位=クエリ分解だけを切り出して、定額側に演じさせるということ。
背景
私は板橋ハウスというYouTubeチャンネルが好きで、切り抜きを見漁っている。ファンの間では「あのシーンどの動画だっけ?」が定番の困りごとで、有志のスプレッドシート掲示板でシーンを探し合う文化がある。あるファンが質問して、別のファンがURLで該当動画の回答をするというもの。
(コミュニティの場なのでここではリンクしない。雰囲気が気になる人は探してみてほしい。)
これをAgentic RAGで解決したくて自作している。
構成はシンプルで、YouTubeの動画URLをGemini APIに渡し、シーン単位の解析データ(時間範囲・状況説明・発話)を生成して、Bedrock Knowledge Base(以降KB)のデータソースとする。KBにはベクトル検索+リランクを請け負わせる。
エージェントはBedrock上のClaude Haiku 4.5で、AgentCore Runtimeにデプロイしている。KBのretrieveをツールとして持たせている。
ユーザーの質問と正解動画のセットは、既出の有志のスプレッドシート掲示板を拝借している。
コスト構造の分解
コストがかかるのは以下の3層。
| レイヤ | 担当 | 実測コスト(1問当たり) |
|---|---|---|
| エージェントLLM | クエリ分解・ツールループ・回答生成 | 約0.10ドル(入力約9万トークン) |
| リランク | 候補50件の並び替え | 約0.01ドル |
| ベクトル検索 | 埋め込み + 検索 | ほぼゼロ |
※コストはCloudWatchの InputTokenCount / SearchUnits から実測した値。
表を見ると、費用の実体はエージェントLLMの1段に集中している。リランク以下はタダ同然だ。
そして厄介なことに、検証で変えて試したいのもまさにこのLLMの仕事、つまり質問をどうクエリ分解するかが、KBでのベクトル検索の精度を左右する。
正解セットは約450件。1周測るごとに約50ドルかかる計算で、しかも検証は1回では終わらない。言い換え方針を4案比較すればそれだけで200ドルだ。
LLMの仕事を分解する
エージェントのLLMがやっている仕事は、分解すると4つある。
- クエリ分解 — ユーザーの曖昧な質問を検索クエリに変換する
- ツールループ — 検索結果を見て引き直しを判断する
- 候補選択 — 候補から答えを絞り、裏取りする
- 回答生成 — ユーザーへの回答文を書く
検索精度の検証に必要なのはどれか。実は1だけだ。
測りたいのは「クエリ分解の方針を変えたら、ベクトル検索で正解が引けるようになるか」。それなら指標は「生成したクエリで検索したとき、候補50件に正解が入るか(recall@50)」で足りる。この指標ならリランクすら要らない — リランクの仕事は候補の並べ替えであって、候補に入れることではないからだ。
ツールループの再現も要らない。言い換えのバリアントを全部先に生成して、素のretrieveに一括で投げれば、「言い換えで救える上限」が測れる。生成と効果測定は分離できる。
こうして残ったのは「クエリ分解だけをやるLLM」と「タダ同然のベクトル検索API」。前者を定額プランに逃がせば、従量課金はほぼ消える。
実装
Claude Codeに以下の提案をしてみた。
あなたがサブエージェント(ここのモデルはhaikuにできるのか?)に指示して、それぞれの質問をクエリ分解してretrieve結果を受け取る。
最終的な結果を私に教えてくれるとかはできない?それだったらbedrockのclaudeモデル料金をここでのトークン消費に置き換えるから費用はかからないかつ、LLMの変換を見れるかなと思ったのだが。
つまり以下の構成ができないか聞いてみた。返ってきた答えは「できる」だった。組まれた構成がこれだ。

※Claude Codeはサブエージェントのモデルを指定できるため、本番と同じHaikuに揃える。これにより本番のモデルにこの言い換えが書けるか?という不確実性ごと検証できる。
※retrieveと集計はサブエージェントにやらせず、決定的なスクリプトが担う。AWS呼び出しと数値集計は毎回同じ結果になるべき仕事で、LLMに任せる理由がない。
サブエージェントには、1問につき4種類の言い換えバリアントを生成させる。
- セリフ引用 — 質問中のセリフ・擬音・歌詞の引用だけを取り出す(「」内が最優先)
- 状況文 — 人名と「〜という動画を探してます」のようなメタ語を除いた、状況・動作だけの1文
- 特徴語 — 固有性の高い語を2〜4語。一般語(部屋・動画など)は避け、固有名詞・擬音を優先
- 表記ゆれ — 特徴語のひらがな⇄カタカナを切り替えたもの(埋め込みは表記が違うと別物扱いするため)
449問を5チャンクに分けてサブエージェント5体を並列起動。全問処理が約5分、トークン消費は約25万=定額プラン内で完結した。
結果
449問に原文+バリアント4種(引用や表記ゆれが作れない質問もある)、計約1,650クエリをretrieveに流した。かかった時間は生成5分+検索と集計で数分、費用は埋め込み課金のみで0.01ドル未満。
測定結果はrecall@50が原文のみ39% → バリアント併用72%。「最初からクエリを分解して投げる」方針に確信が持てたので、本番のシステムプロンプトに反映した。
残る疑いは「定額側の代役で測った数字は、本番とズレるのではないか」。これを確かめるため、反映後に本番e2eを1回だけ回した(従量課金を払ったのはここだけ、12問で1ドル前後)。ツール呼び出しログを突き合わせると、本番のエージェントがツールループの中で自力で書いた分解クエリは、サブエージェントが生成したものと同等に正解を引けていた(正解が候補の上位に繰り返し出現)。定額側で測った見積もりは、本番の代理として成立した。
成立した条件ははっきりしていて、サブエージェントのモデルを本番と同じHaikuに揃えたことだ。「本番のモデルにこの言い換えが書けるか」まで込みで検証していたから、見積もりがそのまま本番に持ち越せた。
まとめ
- 課金構造を分解する。 従量課金は一枚岩ではない。層ごとに実測すると、費用はLLMの1段に集中していて、その下はタダ同然だった。
- LLMの仕事を分解する。 クエリ分解・ツールループ・候補選択・回答生成のうち、検証したいものに本当に必要な仕事はどれかを見極める。今回は「クエリ分解」だけだった。
- その最小単位だけを、定額プランのClaude Codeサブエージェントに演じさせる。 モデルは本番と同じものを指定する — 「本番のLLMにこの変換が書けるか」まで込みで検証できるかが、見積もりが本番の代理になれるかの分かれ目。
- 従量課金は、方針が固まった後の答え合わせ1回に絞る。
ただし、この方式で測れるものと測れないものの境界ははっきりある。
| 定額側で測れる | 本番e2eでしか測れない |
|---|---|
| クエリ変換方針の効果(recall上限) | ツールループの実挙動(引き直し・ツール選択) |
| プロンプト設計の根拠作り | リランク込みの最終順位 |
| 評価データの生成・整形 | レイテンシ・回答文の品質 |
設計のイテレーションは左の列で完結する。右の列は方針確定後に1回だけ確認すればいい。
個人開発でBedrockの請求を気にして検証の回数を絞るくらいなら、LLMの仕事を分解してみてほしい。検証に本当に必要な部分は、思っているより小さい。1条件0.01ドルになれば、「効くはず」の思い込みを数字で棄却する贅沢まで手に入る。
