1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Claude Codeをエージェント層の代替にして、Bedrockモデル料金ほぼゼロでAgentic RAGの改善サイクル回す方法

1
Posted at

はじめに

Agentic RAGの検索品質改善は『変えて→測る』の繰り返し。ところがe2eで測るたびにエージェントのLLM従量課金が乗る。
これをClaude Codeの定額プランに肩代わりさせて、1周50ドルの検証を0.01ドル未満にした方法を紹介する。従量課金を払ったのは、方針が固まった後の答え合わせ1回だけだった。
やったことはLLMの仕事のうち検証に効く最小単位=クエリ分解だけを切り出して、定額側に演じさせるということ。


背景

私は板橋ハウスというYouTubeチャンネルが好きで、切り抜きを見漁っている。ファンの間では「あのシーンどの動画だっけ?」が定番の困りごとで、有志のスプレッドシート掲示板でシーンを探し合う文化がある。あるファンが質問して、別のファンがURLで該当動画の回答をするというもの。
(コミュニティの場なのでここではリンクしない。雰囲気が気になる人は探してみてほしい。)
これをAgentic RAGで解決したくて自作している。

構成はシンプルで、YouTubeの動画URLをGemini APIに渡し、シーン単位の解析データ(時間範囲・状況説明・発話)を生成して、Bedrock Knowledge Base(以降KB)のデータソースとする。KBにはベクトル検索+リランクを請け負わせる。
エージェントはBedrock上のClaude Haiku 4.5で、AgentCore Runtimeにデプロイしている。KBのretrieveをツールとして持たせている。
ユーザーの質問と正解動画のセットは、既出の有志のスプレッドシート掲示板を拝借している。

image.png


コスト構造の分解

コストがかかるのは以下の3層。

レイヤ 担当 実測コスト(1問当たり)
エージェントLLM クエリ分解・ツールループ・回答生成 約0.10ドル(入力約9万トークン)
リランク 候補50件の並び替え 約0.01ドル
ベクトル検索 埋め込み + 検索 ほぼゼロ

※コストはCloudWatchの InputTokenCount / SearchUnits から実測した値。

表を見ると、費用の実体はエージェントLLMの1段に集中している。リランク以下はタダ同然だ。
そして厄介なことに、検証で変えて試したいのもまさにこのLLMの仕事、つまり質問をどうクエリ分解するかが、KBでのベクトル検索の精度を左右する。
正解セットは約450件。1周測るごとに約50ドルかかる計算で、しかも検証は1回では終わらない。言い換え方針を4案比較すればそれだけで200ドルだ。


LLMの仕事を分解する

エージェントのLLMがやっている仕事は、分解すると4つある。

  1. クエリ分解 — ユーザーの曖昧な質問を検索クエリに変換する
  2. ツールループ — 検索結果を見て引き直しを判断する
  3. 候補選択 — 候補から答えを絞り、裏取りする
  4. 回答生成 — ユーザーへの回答文を書く

検索精度の検証に必要なのはどれか。実は1だけだ。

測りたいのは「クエリ分解の方針を変えたら、ベクトル検索で正解が引けるようになるか」。それなら指標は「生成したクエリで検索したとき、候補50件に正解が入るか(recall@50)」で足りる。この指標ならリランクすら要らない — リランクの仕事は候補の並べ替えであって、候補に入れることではないからだ。

ツールループの再現も要らない。言い換えのバリアントを全部先に生成して、素のretrieveに一括で投げれば、「言い換えで救える上限」が測れる。生成と効果測定は分離できる。

こうして残ったのは「クエリ分解だけをやるLLM」と「タダ同然のベクトル検索API」。前者を定額プランに逃がせば、従量課金はほぼ消える。


実装

Claude Codeに以下の提案をしてみた。

あなたがサブエージェント(ここのモデルはhaikuにできるのか?)に指示して、それぞれの質問をクエリ分解してretrieve結果を受け取る。
最終的な結果を私に教えてくれるとかはできない?それだったらbedrockのclaudeモデル料金をここでのトークン消費に置き換えるから費用はかからないかつ、LLMの変換を見れるかなと思ったのだが。

つまり以下の構成ができないか聞いてみた。返ってきた答えは「できる」だった。組まれた構成がこれだ。
image.png

※Claude Codeはサブエージェントのモデルを指定できるため、本番と同じHaikuに揃える。これにより本番のモデルにこの言い換えが書けるか?という不確実性ごと検証できる。
※retrieveと集計はサブエージェントにやらせず、決定的なスクリプトが担う。AWS呼び出しと数値集計は毎回同じ結果になるべき仕事で、LLMに任せる理由がない。

サブエージェントには、1問につき4種類の言い換えバリアントを生成させる。

  1. セリフ引用 — 質問中のセリフ・擬音・歌詞の引用だけを取り出す(「」内が最優先)
  2. 状況文 — 人名と「〜という動画を探してます」のようなメタ語を除いた、状況・動作だけの1文
  3. 特徴語 — 固有性の高い語を2〜4語。一般語(部屋・動画など)は避け、固有名詞・擬音を優先
  4. 表記ゆれ — 特徴語のひらがな⇄カタカナを切り替えたもの(埋め込みは表記が違うと別物扱いするため)

449問を5チャンクに分けてサブエージェント5体を並列起動。全問処理が約5分、トークン消費は約25万=定額プラン内で完結した。


結果

449問に原文+バリアント4種(引用や表記ゆれが作れない質問もある)、計約1,650クエリをretrieveに流した。かかった時間は生成5分+検索と集計で数分、費用は埋め込み課金のみで0.01ドル未満。

測定結果はrecall@50が原文のみ39% → バリアント併用72%。「最初からクエリを分解して投げる」方針に確信が持てたので、本番のシステムプロンプトに反映した。

残る疑いは「定額側の代役で測った数字は、本番とズレるのではないか」。これを確かめるため、反映後に本番e2eを1回だけ回した(従量課金を払ったのはここだけ、12問で1ドル前後)。ツール呼び出しログを突き合わせると、本番のエージェントがツールループの中で自力で書いた分解クエリは、サブエージェントが生成したものと同等に正解を引けていた(正解が候補の上位に繰り返し出現)。定額側で測った見積もりは、本番の代理として成立した。

成立した条件ははっきりしていて、サブエージェントのモデルを本番と同じHaikuに揃えたことだ。「本番のモデルにこの言い換えが書けるか」まで込みで検証していたから、見積もりがそのまま本番に持ち越せた。


まとめ

  1. 課金構造を分解する。 従量課金は一枚岩ではない。層ごとに実測すると、費用はLLMの1段に集中していて、その下はタダ同然だった。
  2. LLMの仕事を分解する。 クエリ分解・ツールループ・候補選択・回答生成のうち、検証したいものに本当に必要な仕事はどれかを見極める。今回は「クエリ分解」だけだった。
  3. その最小単位だけを、定額プランのClaude Codeサブエージェントに演じさせる。 モデルは本番と同じものを指定する — 「本番のLLMにこの変換が書けるか」まで込みで検証できるかが、見積もりが本番の代理になれるかの分かれ目。
  4. 従量課金は、方針が固まった後の答え合わせ1回に絞る。

ただし、この方式で測れるものと測れないものの境界ははっきりある。

定額側で測れる 本番e2eでしか測れない
クエリ変換方針の効果(recall上限) ツールループの実挙動(引き直し・ツール選択)
プロンプト設計の根拠作り リランク込みの最終順位
評価データの生成・整形 レイテンシ・回答文の品質

設計のイテレーションは左の列で完結する。右の列は方針確定後に1回だけ確認すればいい。

個人開発でBedrockの請求を気にして検証の回数を絞るくらいなら、LLMの仕事を分解してみてほしい。検証に本当に必要な部分は、思っているより小さい。1条件0.01ドルになれば、「効くはず」の思い込みを数字で棄却する贅沢まで手に入る。


1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?