前回は、llama.cpp のMTPドラフター構成でローカルLLM推論を高速化しました。
今回はより環境依存の強い話です。OpenCodeをフロントエンドとして使い、iGPUとdGPUの役割を分けました。
狙いは単純です。
dGPU: 思考・推論に専念
iGPU: タイトル生成やRAGキャッシュなどの補助処理を担当
私の環境では、dGPUに Intel Arc Pro B70、iGPUに AMD Radeon 780M Graphics を使っています。
前提となるハードウェアは次の構成です。
| 項目 | 内容 |
|---|---|
| CPU | AMD Ryzen 7 8845HS |
| MEM | DDR5 64GB |
| iGPU | AMD Radeon 780M Graphics、メモリ8GB割当 |
| dGPU | Intel Arc Pro B70、VRAM 32GB |
| dGPU power limit | 150W |
| OS | Ubuntu 26.04 |
この記事で扱うこと
- OpenCodeでメインモデルと小型モデルを分ける
- iGPUでタイトル生成を処理する
- Exa検索をフックし、検索結果をRAGキャッシュ化する
- iGPUタイトル生成の有無による応答時間比較
- RAG登録前後による応答時間比較
この記事で扱わないこと
- OpenCode以外のエージェント実装で同じことができるか
- RAGの意味検索精度の詳細評価
- Exa検索そのものの性能評価
- B70やRadeon 780Mの一般的なベンチマーク
この記事の内容はOpenCodeの設定・プラグイン機構にかなり依存します。Open ClawやHermes Clawなど別のフロントエンドでも同じ構成にできるかは未検証です。
構成
今回の構成は次の通りです。
| 役割 | デバイス | 用途 |
|---|---|---|
| dGPU | Intel Arc Pro B70 | メインLLMの思考・回答生成 |
| iGPU | AMD Radeon 780M Graphics | タイトル生成用の極小モデル |
| RAG DB | LanceDB | Exa検索結果とメイン回答のキャッシュ |
| フロント | OpenCode | エージェント操作 |
Arc Pro B70は、Intel公式仕様で32GB GDDR6、608GB/sメモリ帯域、32 Xe-cores、256 XMX Engines、367 INT8 TOPSとされています。ローカルLLMではVRAM容量が効くため、B70は「大きめのVRAMを比較的安価に確保する」選択肢として魅力があります。
参考:
- Intel Arc Pro B70 Graphics Product Specifications: https://www.intel.com/content/www/us/en/products/sku/245797/intel-arc-pro-b70-graphics/specifications.html
- OpenCode config: https://dev.opencode.ai/docs/config
- OpenCode providers: https://opencode.ai/docs/providers
- LanceDB JavaScript SDK: https://lancedb.github.io/lancedb/js/
OpenCodeでメインモデルと小型モデルを分ける
OpenCodeでは、通常の model とは別に small_model を設定できます。OpenCodeのドキュメントでは、small_model はタイトル生成のような軽量タスクに使われる、と説明されています。
今回の設定では、メインモデルはB70上の llama-server、小型モデルはRadeon 780M上の別 llama-server に向けています。
{
"model": "llama/local-vision",
"small_model": "title/qwen-title",
"provider": {
"llama": {
"npm": "@ai-sdk/openai-compatible",
"name": "llama",
"options": {
"baseURL": "http://<host>:8080/v1",
"apiKey": "sk-dummy"
}
},
"title": {
"npm": "@ai-sdk/openai-compatible",
"name": "title",
"options": {
"baseURL": "http://<host>:8081/v1",
"apiKey": "sk-dummy"
}
}
}
}
タイトル生成サーバーは、Radeon 780M側で次のような極小モデルを動かしています。
qwen2.5-1.5b-instruct-q8_0.gguf
起動例は次のような形です。
llama-server \
-m /home/<user>/.local/opt/llm/models/qwen2.5-1.5b-instruct-q8_0.gguf \
--alias qwen-title \
--host <host> \
--port 8081 \
--device Vulkan0 \
-ngl all \
-sm none \
-t 4 \
-c 2048 \
-b 512 \
-ub 512 \
--parallel 1 \
-fa 1 \
--jinja
ここではAMD iGPUなのでVulkanを使っています。メイン推論用のB70はSYCL、タイトル生成用のRadeon 780MはVulkan、という分担です。
Exa検索をRAGキャッシュ化する
次に、Exa検索のフックです。
OpenCodeのプラグインで、検索ツールの前後とテキスト生成完了時に処理を挟みます。
流れは次の通りです。
1. websearch / Exa 実行前
-> RAG DBを検索
2. RAG Hit
-> Exaの生検索結果の代わりに、過去のメインモデル回答を返す
3. RAG Miss
-> 通常通りExa検索
4. メインモデル回答完了
-> 検索クエリ、回答本文、参照URLをRAG DBへ保存
簡略化すると、プラグインはこのような責務を持ちます。
"tool.execute.before": async (input, output) => {
// websearch / Exa の前にRAG DBを検索
}
"tool.execute.after": async (input, output) => {
// RAG Hitなら検索結果をキャッシュ済み回答で置換
}
"experimental.text.complete": async (input, output) => {
// RAG Miss後のメインモデル回答をDBへ保存
}
DBにはLanceDBを使いました。今回の実装では、簡易的なn-gramベースのベクトル化を使っています。記事の主題はRAG精度ではなく、OpenCodeの検索経路をローカルキャッシュ化して待ち時間を削ることです。
ベンチ方針
本番環境ではすでにRAGが稼働しているため、ベンチは別環境で実行しました。
具体的には、OpenCode実行時に一時的な HOME / XDG_CONFIG_HOME / XDG_DATA_HOME / XDG_CACHE_HOME を使い、本番の設定DBやRAG DBを触らないようにしています。
/home/<user>/CDX/opencode-bench-runs/<run-id>/
測定した値は、OpenCode CLIの run --format json で得られるイベントを元にしています。
opencode run --format json --auto --model llama/local-vision --dir /home/<user>/OC "<prompt>"
注意点として、この測定は厳密なfirst token latencyではありません。OpenCodeのJSONイベントでは、今回の環境だと最初の text event と step_finish がほぼ同時に出ました。
そのため、この記事では OpenCode実行開始から回答テキストイベントが返るまでの時間 として扱います。
ベンチ1: iGPUタイトル生成の効果
まず、タイトル生成の効果を測ります。
前提として、タイトル生成とExa検索は別物です。タイトルはプロンプトや会話内容から生成される軽量タスクで、Exa検索が発火するかどうかとは基本的に無関係です。
つまり、タイトル生成の効果を見るなら、検索が発生しない長いプロンプトで測るべきです。
そこで、比較文学の長文プロンプトを使いました。実際にベンチで使ったプロンプト全文は次の通りです。
ベンチで使用した長文プロンプト
【指示】
外部のWeb検索は一切使用せず、内部知識のみで以下の比較文学の論文構成案を作成してください。
【テーマ】
「近代文学における『罪と不条理』の位相:ドストエフスキーとカフカの比較分析」
【背景】
19世紀のドストエフスキーが描いた神と道徳律に対する「能動的な罪の意識」と、20世紀のカフカが描いた不可視の機構による「受動的な不条理」は、近代人の実存的危機を全く異なる角度から表現しました。『罪と罰』と『審判』を主な題材に、神の喪失とシステム化された社会の中で「人間の不安」がどう変質したかを解明してください。
【詳細要件】
以下の2つの論点を網羅し、哲学的な学術言語を用いて論述してください。
1. 罪の因果律と主体性の喪失:
『罪と罰』のラスコーリニコフによる「自己の意志に基づく越権行為」という因果律の明確な罪と、『審判』のヨーゼフ・Kに降りかかる「理由なき逮捕」という因果律から切断された不条理を比較し、両者における人間の主体性の有無を考察してください。
2. 「審判」の構造と空間メタファー:
ドストエフスキーにおける神や予審判事との「対話的(ポリフォニック)」な関係と、カフカの描く官僚制的な「非人格で対話不能」な権力の非対称性を比較してください。また、息詰まる狭い部屋(ドストエフスキー)と無限に続く迷宮(カフカ)という空間表象の違いも分析に含めてください。
【出力形式】
・全4章(序論・結論含む)からなる仮想論文の目次構成。
・各章で論じる内容の要約(各章300字程度)。
・カフカ的「不条理な審判」が、現代のアルゴリズム社会においてどう現れているか、自身の見解を述べてください。
条件は次の通りです。
| 項目 | 内容 |
|---|---|
| RAG | off |
| Exa | off |
| websearch / webfetch | deny |
| 実行回数 | 3回 |
| 暖機 | 1回、集計外 |
| 比較 |
small_model = llama/local-vision vs small_model = title/qwen-title
|
結果です。
| 構成 | tool events | 平均wall time | 回答テキストイベントまで | 平均出力tokens |
|---|---|---|---|---|
| dGPUタイトル | 0 | 80.30 sec | 80.26 sec | 1581 |
| iGPUタイトル | 0 | 58.48 sec | 58.44 sec | 1445 |
iGPU側へタイトル生成を逃がすことで、OpenCode全体の応答時間は次のように短縮されました。
80.30 sec -> 58.48 sec
短縮率は約27.2%です。
(80.30 - 58.48) / 80.30 = 0.272
速度比では約1.37倍です。
80.30 / 58.48 = 1.37
ただし、平均出力トークン数には差があります。
dGPUタイトル: 1581 tokens
iGPUタイトル: 1445 tokens
したがって、これは「完全に同一出力長での純粋なタイトル生成時間差」ではありません。OpenCode全体を実際に動かしたときの実測です。
とはいえ、tool_events = 0 なので検索は発生していません。長文プロンプトでは、タイトル生成をiGPUへ逃がす効果が十分に見えました。
ベンチ2: RAGキャッシュの効果
次に、RAGキャッシュの効果を測ります。
こちらは意図的にExa検索が発火するプロンプトを使いました。
Intel ARC Pro B70の最新(2026年時点)スペックを報告して
RAGありの場合は、各セットごとにRAG DBを初期化しています。
- RAG DBを初期化
- 登録前として同一プロンプトを実行
- RAG Miss -> Exa検索 -> メインモデル回答 -> RAG保存
- 登録後として同一プロンプトを再実行
- RAG Hitを確認
- これを3セット実行
まず、タイトル生成をdGPU側にした場合です。
| 構成 | RAG状態 | 平均wall time | RAG Hit | RAG Miss | Stored |
|---|---|---|---|---|---|
| dGPUタイトル + RAG | 登録前 | 94.38 sec | 0 | 3 | 3 |
| dGPUタイトル + RAG | 登録後 | 37.23 sec | 3 | 0 | 0 |
RAG登録後は約60.5%短縮しました。
(94.38 - 37.23) / 94.38 = 0.605
次に、短い検索プロンプトでiGPUタイトル生成とRAGを組み合わせた場合です。
| 構成 | RAG状態 | 平均wall time | RAG Hit | RAG Miss | Stored |
|---|---|---|---|---|---|
| iGPUタイトル + RAG | 登録前 | 80.83 sec | 0 | 3 | 3 |
| iGPUタイトル + RAG | 登録後 | 26.34 sec | 3 | 0 | 0 |
こちらは約67.4%短縮です。
(80.83 - 26.34) / 80.83 = 0.674
ここまでの結果は、短い検索プロンプトでの比較です。
ただし、第2回の主張は「iGPUでタイトル生成を逃がし、RAG Hitで検索待ちを減らすと、OpenCode全体の待ち時間が縮む」というものです。
その主張を確認するには、短い検索プロンプトだけでは足りません。そこで、追加で 長文かつ検索が発生するプロンプト でも測りました。
追加検証で使用した長文検索プロンプト
最新のIntel oneAPIとllama.cppで、SYCL向けllama.cppをビルドしたい。また、Intel ARC Pro B70向けに最大限チューニングしたパラメータでビルドし、llama-serverの起動オプションも最適化したい。
- Intel oneAPIの最新情報を調査
- llama.cppの最新情報を調査
- Intel ARC Pro B70の最新スペックを調査
- 調査結果を元に
- SYCL向けllama.cppの最適なビルドオプションを提案
- llama-serverの最適な起動オプション、環境変数を提案
- ビルドオプションと環境変数を混同しないこと
の条件で、ビルドオプションと、起動オプション&環境変数を提案して欲しい。
この追加検証では、まず dGPUタイトル + RAGなし を3回測りました。
| 構成 | 平均wall time |
|---|---|
| dGPUタイトル + RAGなし | 353.70 sec |
次に、iGPUタイトル + RAGあり で、同じRAG DBに対して登録前、部分Hit、全Hitを確認しました。
| 構成 | RAG状態 | wall time | tool events | 備考 |
|---|---|---|---|---|
| iGPUタイトル + RAG | 登録前 | 551.24 sec | 3 | 3検索すべてMiss、回答後に保存 |
| iGPUタイトル + RAG | 登録後1回目 | 120.25 sec | 3 | 2 Hit / 1 Miss |
| iGPUタイトル + RAG | 登録後2回目 | 124.89 sec | 3 | 2 Hit / 1 Miss |
| iGPUタイトル + RAG | 登録後3回目 | 78.00 sec | 3 | 3 Hit / 0 Miss |
完全にRAG Hitした登録後3回目を、長文検索プロンプトにおける最終構成の確認値とします。
dGPUタイトル + RAGなし の平均と比べると、短縮率は約78.0%、速度比では約4.53倍です。
(353.70 - 78.00) / 353.70 = 0.780
353.70 / 78.00 = 4.53
登録前の iGPUタイトル + RAGあり と比べると、短縮率は約85.9%、速度比では約7.07倍です。
(551.24 - 78.00) / 551.24 = 0.859
551.24 / 78.00 = 7.07
ここで重要なのは、RAG登録後でも必ず全検索がHitするわけではない点です。
OpenCodeが毎回まったく同じ検索クエリを生成するとは限りません。今回も、登録後1回目と2回目はクエリの揺れにより1件だけMissしました。3回目で全3検索がHitし、78.00秒まで短縮されました。
ベンチ結果のまとめ
今回の測定結果をまとめます。
| 観点 | 比較 | 結果 |
|---|---|---|
| iGPUタイトル生成 | 80.30 sec -> 58.48 sec | 約27.2%短縮 |
| RAG登録後 | 94.38 sec -> 37.23 sec | 約60.5%短縮 |
| 最終構成、長文検索プロンプトの単発確認 | 353.70 sec -> 78.00 sec | 約78.0%短縮 |
見えてきたことは明確です。
タイトル生成の分離は、検索が発生しない長文プロンプトで効きます。一方、検索が発生するプロンプトでは、外部検索待ちが支配的になるため、タイトル生成の効果は見えにくくなります。
RAGキャッシュは、検索が発生するプロンプトで大きく効きます。初回は検索が必要ですが、2回目以降は過去のメインモデル回答をローカルから返せます。
ただし、検索クエリが揺れると部分Hitになります。RAG Hitを前提にするなら、クエリ正規化や検索対象ごとのキャッシュ設計は改善余地があります。
なぜdGPUを空けたいのか
ローカルLLM環境では、dGPUは最も貴重な計算資源です。
特に30B級モデルをMTP付きで動かす場合、dGPUには次の仕事を集中させたいです。
- メインモデルの推論
- ドラフトモデルの検証
- 長いコンテキストの処理
- Vision対応時の回答生成
一方で、タイトル生成や検索キャッシュのような周辺処理は、必ずしも大きなモデルである必要はありません。
そこで、iGPUを「余ったGPU」ではなく、補助推論用のデバイスとして使います。
Radeon 780M:
- qwen-title
- 軽量な補助処理
Arc Pro B70:
- Gemma 4 Vision
- MTP推論
- メイン回答生成
この分担により、B70側をメイン推論に寄せられます。
注意点
OpenCode依存が強い
この記事の構成は、OpenCodeの small_model とプラグイン機構に依存しています。
他のエージェントフロントエンドでも同じような分担は可能かもしれませんが、少なくともこの記事では未検証です。
RAGキャッシュは鮮度管理が必要
RAG Hitは速いですが、古い情報を返す危険があります。
特に「最新スペック」「価格」「ドライバ」「リリース日」のような情報では、キャッシュのTTLや明示的な再検索条件を設けた方が安全です。
今回の実装は、効果検証のためのシンプルなRAGキャッシュです。本番運用では次のような改善余地があります。
- キャッシュTTL
- 情報源URLごとの保存
- 公式情報を優先するスコアリング
- ユーザーが明示的に「再検索」を指定できる仕組み
RAG Hit時の回答は短くなりやすい
今回のRAG Hit後の応答は、登録前より出力トークン数が少なくなる傾向がありました。
これは、検索結果全体を再処理する代わりに、過去のメインモデル回答を材料にしているためです。速度面では有利ですが、毎回フルに再調査した回答とは性質が違います。
まとめ
OpenCode環境で、iGPUとdGPUの役割を分けました。
- iGPU: タイトル生成、補助処理
- dGPU: メイン推論、思考、回答生成
- RAG: Exa検索結果と回答をローカルキャッシュ化
実測では、検索なし長文プロンプトでiGPUタイトル生成が約27.2%の短縮、短い検索プロンプトでRAG登録後が約60.5%の短縮になりました。
さらに、長文かつ検索が発生するプロンプトでは、dGPUタイトル + RAGなし の平均353.70秒に対し、iGPUタイトル + RAG全Hit は78.00秒でした。こちらは追加確認の単発値ですが、第2回の主張である「補助処理をiGPUへ逃がし、検索経路をRAGで短縮する」効果が最も分かりやすく出たケースです。
ローカルLLMの体感速度は、モデル単体のtokens/secだけでは決まりません。
エージェント環境では、タイトル生成、検索、RAG、補助モデル、メインモデルが連鎖します。だからこそ、dGPUに全部を押し込むのではなく、iGPUへ逃がせる処理を見極める価値があります。
私の環境では、Radeon 780Mは「おまけの内蔵GPU」ではなく、OpenCodeの待ち時間を削るための補助推論デバイスとして十分に働きました。