0. 概要
コーディングエージェントを運用していると、必ずぶつかるのが「トークン代(コスト)」と「回答品質」のトレードオフです。
コンテキストを削れば削るほどコストは下がりますが、削りすぎると重要な情報まで失われて回答品質が落ちてしまいます。
今回は、この2つの指標を人手でチューニングするのではなく、Optuna の多目的最適化に丸投げして、パレート最適解を自動で探索するパイプラインを作ってみました。
- コンテキストから定型あいさつ・雑談を自動で削ぎ落とす「セマンティック・ノイズフィルタ」
- 削った後のコンテキストでLLMに回答を作らせる
- その回答の品質を、別のLLMに「評価官」として採点させる(LLM-as-a-Judge)
- 上記をOptunaのtrialとして回し、「コスト最小化 × 品質最大化」のパレート最適解を求める
推論・埋め込み・評価のすべてをローカルの Ollama で完結させているので、APIキー無し・従量課金無しで試せます。
ソースコードは以下のリポジトリに置いています。
最終的にこんな感じのログが出力されます。
🏆 【最適化完了】 パレート最適解:
解 1:
パラメータ: {'filter_threshold': 0.39433682602614367}
評価値 [コスト(文字数), スコア]: [826.0, 5.0]
1. 背景
筆者は以前 【脱・従量課金】CPUローカルLLM×Microsoft Agent Framework という記事で、クラウドAPIに頼らずローカルLLMだけでエージェントを組む話を書きました。
今回はその延長線上で、「ローカルLLMでもコンテキストが長いと推論が遅い・重い」という課題に向き合っています。
日本語のビジネス文書やチャットログには、「お世話になっております」「よろしくお願いいたします」のような定型あいさつや、会議の言い淀み・雑談がかなりの割合で混ざります。
これらは人間には意味がありますが、LLMに要約・回答させる上ではただのノイズです。
素朴にやるなら正規表現やキーワードマッチでこれらを削る手もありますが、表現ゆれ(「よろしくお願いいたします」「よろしくお願い申し上げます」等)に弱く、メンテナンスコストが高くなります。
かといって、削る閾値を人間が手探りで決めるのも面倒です。
「どの閾値が一番コスパがいいか」を自動で見つけてほしい、というのが今回のモチベーションです。
2. 全体アーキテクチャ
パイプラインは次の3段構成です。
生コンテキスト
│
▼
① EmbeddingFilter(セマンティック・ノイズフィルタ)
│ ノイズ基準文との類似度がthreshold以上の行をカット
▼
② メインLLMで回答生成
│
▼
③ LLMAsAJudge(LLM-as-a-Judge)
│ 元コンテキストと回答を突き合わせ5段階で採点
▼
(コスト, 品質スコア) のペアをOptunaに返す
この①〜③を1トライアルとして、Optunaが filter_threshold を振りながら何度も実行し、「コスト(文字数)の最小化」と「品質スコアの最大化」という相反する2目的のパレートフロントを探索します。
3. 環境構築
前提として、ローカルでOllamaが起動している必要があります。
ollama pull qwen3-embedding:0.6b
ollama pull gemma4:12b-it-qat
依存関係のインストールには uv を使っています。
uv sync
実行はこれだけです。
uv run src/token_optimizer.py
4. 実装① Embeddingセマンティック・ノイズフィルタ
まず、定型あいさつを削る部分です。
やっていることはシンプルです。
- コンストラクタで「お世話になっております。」「よろしくお願いいたします。」のようなノイズ基準文を15個ほど持たせておく
-
initialize()でこれらを事前に一括で埋め込みベクトル化し、キャッシュしておく -
filter_noise_lines()では、入力を1行ずつに分解し、全行を一括で埋め込み、各行とキャッシュ済みノイズ埋め込みとのコサイン類似度の最大値を計算 - その最大類似度が
threshold未満の行だけを残す
なぜこう書くのか
- キーワードマッチではなく埋め込み類似度で判定しているので、「よろしくお願いいたします」と「よろしくお願い申し上げます」のような表現ゆれを吸収できます。
- ノイズ基準文の埋め込みは初期化時に1回だけ計算してキャッシュしています。毎行ごとに全ノイズ文とAPI通信していては非効率なので、ここは最初にまとめて済ませています。
- 行の埋め込みも1行ずつではなく
get_embeddings(lines)でバッチ処理しています。Ollamaへのリクエスト回数を減らすための工夫です。 -
_cos_simにはゼロベクトルのガード(norm == 0のときは0.0を返す)が入っています。空行やエンコード失敗のケースでもゼロ除算しないようにする、地味に大事な安全策です。
5. 実装② LLM-as-a-Judge
フィルタ後のコンテキストで生成した回答を、別のLLMに採点させる部分です。
プロンプトでは「厳格なAI品質評価官」というペルソナを与え、5段階の評価基準を明示しています。
5点: 重要な情報がすべて含まれており、ハルシネーション(嘘)がなく、簡潔で完璧な回答。
4点: ほぼ正確だが、表現を少し改善できる、または不要な情報がわずかに残っている。
3点: 最低限の要件は満たしているが、重要な情報が一部抜けているか、少し不自然。
2点: 情報の欠落が多く、回答として不十分。
1点: 全く的外れな回答、または致命的な嘘(ハルシネーション)が含まれる。
出力は最後に Score: [点数] の形式で書かせ、正規表現 Score:\s*([1-5]) で抽出しています。
なぜこう書くのか
- 「回答品質」はそのままでは数値化しづらい指標です。LLM-as-a-Judgeにスコアという単一の数値を出させることで、Optunaの目的関数にそのまま渡せるスカラー値になります。
- 評価軸を「元コンテキスト(Original Context)」「フィルタ後コンテキスト(Clean Context)」「生成された回答(Response)」の3点セットにしているのがポイントです。フィルタで情報を削りすぎた場合、元コンテキストと突き合わせることで「回答に情報の欠落がある」ことをJudgeが検出できます。
- スコアのパースに失敗した場合や、Ollamaへのリクエストで例外が起きた場合は、安全側に倒して最低点(1.0)を返す設計になっています。パースできないからといってその trial のスコアを高く見積もってしまうと、Optunaが「品質はともかく安全側」に倒れず暴走しかねないので、フォールバックは常に最低点、という判断は理にかなっています。
6. 実装③ Optunaで多目的最適化
最後に、上記2つをつなげて多目的最適化のtrialとして回す部分です。
objective 関数は次のような流れになっています。
-
trial.suggest_float("filter_threshold", low=0.3, high=0.7)でその回の閾値を決める -
EmbeddingFilterでノイズ行をカット - カット後のコンテキストでメインLLMに回答を生成させる
-
LLMAsAJudgeでその回答を採点する -
(len(clean_context), score)のタプルを返す
これを optuna.create_study(directions=["minimize", "maximize"]) でstudyを作り、study.optimize(objective_func, n_trials=n_trials) で回します。
なぜこう書くのか(実装のハマりどころ)
Optunaの study.optimize() は同期的なループですが、パイプラインの中身(Embedding取得・LLM推論・Judge評価)はすべて非同期APIです。
愚直に1つのイベントループを使い回そうとすると、trialをまたいでイベントループの状態が壊れたり、RuntimeError: This event loop is already running のようなエラーに悩まされます。
対策として、各trialの中で asyncio.new_event_loop() によって完全に独立したイベントループを都度立ち上げ、run_until_complete() で実行し、finally で必ずクローズする、という構成にしています。
new_loop = asyncio.new_event_loop()
try:
cost, score = new_loop.run_until_complete(pipeline_run())
return cost, score
finally:
new_loop.close()
さらに、EmbeddingFilter / OllamaChatClient / LLMAsAJudge のインスタンスも、trialの中で毎回新規生成しています。
クライアントの内部状態を使い回して意図しない競合を起こすより、多少非効率でも trial ごとに使い捨てにする方が、最適化ループの安全性が確保できます。
Optunaの同期ループの中でasyncioを回す構成にする際は、参考にしてもらえると思います。
7. 実行結果(パレート最適解)
サンプルとして、設備監視システムのRAG構築プロジェクトの定例会議の議事録(言い淀みやランチの雑談混じり)を使って最適化を回すと、閾値によって明暗が分かれる様子が見えます。
削りすぎて失敗した例(Trial 3)
閾値を0.473まで上げると、会議の核心である技術的な発言まで誤ってノイズ判定されてしまい、Judgeに情報欠落を見抜かれて最低評価になります。
[Trial 3 finished with values: [1058.0, 1.0] and parameters: {'filter_threshold': 0.473}]
ベストバランスを達成した例(Trial 4)
閾値を0.394に微調整すると、不要な相槌やランチの雑談だけを綺麗に削ぎ落とし、重要な技術議論の文脈は維持したまま、満点(5.0)を保ちつつ文字数を826文字まで圧縮できています。
[Trial 4 finished with values: [826.0, 5.0] and parameters: {'filter_threshold': 0.394}]
すべてのtrialが終わると、study.best_trials からパレート最適解が得られます。
🏆 【最適化完了】 パレート最適解:
解 1:
パラメータ: {'filter_threshold': 0.39433682602614367}
評価値 [コスト(文字数), スコア]: [826.0, 5.0]
品質を犠牲にせず、最もトークンを節約できる閾値が自動で見つかりました。
8. おわりに
「LLMコンテキストのノイズ除去」と「コスト×品質のトレードオフ」を、Optunaの多目的最適化に任せるパイプラインを作りました。
ポイントを振り返ると、
- ノイズ判定はルールベースではなく埋め込み類似度で行うことで、表現ゆれに強くした
- 数値化しづらい「回答品質」をLLM-as-a-Judgeでスカラー値に変換し、最適化の目的関数に組み込んだ
- Optunaの同期ループの中でasyncioパイプラインを安全に回すため、trialごとに独立イベントループを立てた
という3点が今回の設計の核になっています。
現状はまだ探索パラメータが filter_threshold の1つだけなので、今後はノイズ基準文の集合自体をチューニング対象にしたり、業務ドメインごとに異なるノイズ辞書を用意して切り替えられるようにするなど、拡張の余地があります。
APIキー不要・すべてローカルのOllamaで完結する構成なので、興味があればぜひ手元で uv run src/token_optimizer.py を試してみてください。
この記事が、コンテキストのコスト最適化を検討している方の一助となれば幸いです。