オープンソースLLMの進化スピードが凄まじいことになっています。2026年8月中旬、Alibabaから電撃リリースされた Qwen3.8-27B は、「トップクラスの閉源モデルに匹敵する性能を持ちながら、最低8GB程度のVRAMから動作可能」として、ローカルLLMコミュニティで一気に注目の的となりました。
27Bというパラメータ規模でありながら、量子化によって民生用GPU（VRAM 16GB環境など）で手軽に動かせる点が最大の魅力。そこで今回は、llama.cpp を用いて Qwen3.8-27B をローカル稼働させ、各種性能をチェックした上で、最も過酷なテストである「自律型AIエージェント（Agent）ワークフロー」の完全完走に挑戦しました。
16GBのVRAM環境ではClaude Codeなどの重量級エージェントツールをローカルで回すのはリソース的に厳しいため、自作の超軽量エージェントフレームワーク lumichy-agent を使用して実力を検証しています。
1. Qwen3.8-27B の基本スペックと特徴
まずは Qwen3.8-27B の基本スペックを整理しておきます。
| 項目 | スペック / 詳細 |
|---|---|
| モデル名 | Qwen3.8-27B |
| 開発元 | Alibaba Cloud（通義千問チーム） |
| アーキテクチャ | Dense Transformer（マルチモーダル対応） |
| パラメータ数 | 27B（270億） |
| コンテキスト長 | ネイティブ 260K tokens（拡張可能） |
| 最小動作VRAM | 最低4GB〜（超低ビット量子化/CPU併用時）、16GB推奨（Q4_K_Mフルオフロード） |
| 主な特徴 | 高い推論能力、コード生成力、Tool Calling・Agent適性、無審査・柔軟性 |
前世代の Qwen2.5 から飛躍的に強化されたのが、長大なコンテキスト長（260K）の保持力と多段階のツール呼び出し（Tool Calling）精度です。
環境に合わせたモデル選択（Unsloth GGUF）
Hugging Face の unsloth/Qwen3.8-27B-GGUF にて、1-bit / 2-bit の超軽量版からフル精度に近い 8-bit / 16-bit まで、多彩な量子化バリアントが公開されています。
-
VRAM 4GB〜8GB（エントリー環境 / ラップトップ）:
-
IQ2_XXSやIQ3_XXSなどの超低ビット量子化、または CPU メインメモリへの一部オフロードを活用することで、エントリークラスの GPU でも 27B モデルが稼働します。
-
-
VRAM 12GB〜16GB（ミドルレンジ / 今回の検証環境）:
-
Q4_K_MやQ5_K_Mがベストバランス。十分な推論速度（30 tokens/sec前後）と高精度な Tool Calling が両立できます。
-
-
VRAM 24GB以上（ハイエンド / RTX 4090 等）:
-
Q8_0やBF16で、モデル本来の最高性能をフルに発揮できます。
-
ご自身のハードウェア環境やコンテキスト長に応じて、最適な GGUF ファイルを選択してください。
2. llama.cpp によるローカルセットアップと基本検証
今回は llama.cpp の HTTP サーバー機能（llama-server） を立ち上げ、OpenAI互換エンドポイントとしてモデルをホストしました。
起動コマンド
# llama-server の起動例 (Q4_K_M 量子化モデル)
./llama-server \
-m ./models/qwen3.8-27b-q4_k_m.gguf \
--ctx-size 16384 \
--n-gpu-layers 99 \
--port 8080 \
--host 0.0.0.0
基本機能の検証結果
-
推論速度（TPS）とレスポンス:
- VRAM 16GB環境（Q4_K_Mモデルをフル/ほぼフルオフロード）でテストしたところ、毎秒 約 15〜25 t/s（実測キャプチャでは 16.50 t/s、109トークンを6.6秒で生成）を記録。チャット対話やエージェントの思考用途としても実用的なレスポンス速度です。
▲ チャットUIでの推論速度・レスポンス検証（109 tokens / 6.6s / 16.50 t/s） -
マルチモーダル（画像認識・視覚理解）の精度:
- Qwen3.8-27B はネイティブでマルチモーダルに対応しており、画像認識・視覚的推論の精度も完璧と言える仕上がりです。
- 試しに少し抽象的な手描きイラストを入力して「画像を説明して」と指示したところ、左上の筆書き文字（「hiaDhei」）、キャラクターの特徴（黒く丸みを帯びた人型、不安そうな表情）、木製の橋の鎖を掴むポーズ、海や水平線などの背景構成まで、完璧かつ論理的に分析・言語化してくれました。
▲ マルチモーダル検証：手描きイラストの文字・キャラクター・背景構成を精緻に認識 -
指示追従性と日本語の自然さ:
- 「150文字程度の自己紹介」といった文字数指定や、JSONフォーマットなどの制約条件に対しても崩れることなく高精度に追従。従来のモデルで見られた不自然な漢語表現や翻訳調も解消されています。
-
Tool Calling（関数呼び出し）:
- 引数の型やネスト構造を正確に構築でき、エージェント用バックエンドとしての適性の高さを確認できました。
3. 16GB環境の壁と軽量エージェント lumichy-agent
重量級エージェントツールの課題
ローカルLLMでエージェントを動かそうとする際、最大のボトルネックになるのが 「コンテキスト肥大化」と「システムオーバーヘッド」 です。
Claude Codeをはじめとする市販のフルスタックエージェントツールは、大量のシステムプロンプトや環境定義、ファイルツリー情報を一度に投入するため、VRAM 16GBのローカル環境ではあっという間にコンテキスト上限に達し、推論速度が急落してしまいます。
そこで今回は、余分なオーバーヘッドを極限まで削ぎ落とした自作の軽量エージェントフレームワーク lumichy-agent をバックエンドに接続して検証を行いました。
lumichy-agent とは？
lumichy-agent は、Pythonで構築された最小構成かつ高拡張性のエージェントフレームワークです（ソースコードは GitHub にて公開中）。
フレームワークの設計思想や詳細な仕組みについては、以下の記事をご覧ください。
Plan（計画）→ Think（思考）→ Act（実行）→ Observe（観察）→ Reflect（内省）という自律ループを、最小限のトークン消費で実現できるのが特徴です。
4. エージェント機能の実証テスト
与えたタスク
エージェントには以下の複合タスク（Web調査＋思考＋ファイル保存）を与えました。
「三日間の東京観光のおすすめプランを提案してください。また、提案内容をファイルに保管してください。」
実行スクリプト（Python）
import os
from dotenv import load_dotenv
from lumichy_agent import Agent, ExecutionContext, build_provider
def main() -> None:
load_dotenv()
# ローカルの llama.cpp (OpenAI互換) プロバイダーを指定
provider = build_provider(os.environ.get("DEFAULT_PROVIDER", "openai"))
agent = Agent(
provider,
context=ExecutionContext(),
use_planning=True,
system_prompt="You are lumichy-agent, a concise and helpful assistant.",
verbose=True
)
result = agent.run("三日間の東京観光のおすすめプランを提案してください。また、提案内容をファイルに保管してください。")
print(result.output)
print(f"\n[tool calls: {result.tool_calls}, tokens: {result.tokens_used}]")
if __name__ == "__main__":
main()
5. エージェントの実行トレースと自律挙動
Qwen3.8-27B がどのように自律思考し、内蔵ツール（web_search と write_file）を使い分けたのか、実際の実行ログを追ってみます。
実行ログ
2026-08-19 11:46:30,609 | INFO | USER -> 三日間の東京観光のおすすめプランを提案してください。また、提案内容をファイルに保管してください。
2026-08-19 11:46:52,997 | INFO | PLAN ->
Goal: 三日間の東京観光のおすすめプランを提案してください。また、提案内容をファイルに保管してください。
Plan:
1. [ ] 東京の主要観光スポット、交通手段、食事スポットを調査する
2. [ ] 3日間の観光プラン案を作成する
3. [ ] 作成したプラン内容をテキストファイルに保存する
2026-08-19 11:46:52,998 | INFO | SYSTEM -> You are lumichy-agent, a concise and helpful assistant.
2026-08-19 11:47:08,615 | INFO | THINK -> (no text, awaiting tool results)
2026-08-19 11:47:08,616 | INFO | ACT -> web_search({"query": "東京 3日間 観光 おすすめプラン 定番スポット 2024"})
2026-08-19 11:47:08,616 | INFO | ACT -> web_search({"query": "東京 観光スポット ランキング 浅草 渋谷 新宿 上野 皇居"})
2026-08-19 11:47:14,813 | INFO | OBSERVE -> fi2OV6uZSMR9I1xN7FFQQoENZnNfNoHk = - 東京観光モデルコース外国人向け：2泊3日で満喫する魅力のガイド | VELTRA旅行ガイド: 4.52 ... [ok]
2026-08-19 11:47:14,815 | INFO | OBSERVE -> W4IIdS6PjoyA8B9LRdpNBUFtTnDj9uXN = - 【人気投票 1~86位】東京の観光地ランキング！ ... [ok]
2026-08-19 11:47:36,182 | INFO | REFLECT -> CONTINUE
2026-08-19 11:47:36,182 | INFO | SYSTEM -> You are lumichy-agent, a concise and helpful assistant.
2026-08-19 11:49:10,820 | INFO | THINK -> (no text, awaiting tool results)
2026-08-19 11:49:10,820 | INFO | ACT -> write_file({"path": "東京3日間観光プラン.txt", "content": "================================================================\n 東京 3日間 おすすめ観光プラン\n================================================================\n...)
[APPROVAL REQUIRED] dangerous tool: write_file
args: {"path": "東京3日間観光プラン.txt", "content": "..."}
Allow this action? [y/N] y
[APPROVED] write_file
2026-08-19 11:49:25,678 | INFO | OBSERVE -> dX7A578KHjPsQaJQ6b2bVYSammkmzPpS = Wrote 2641 chars to 東京3日間観光プラン.txt [ok]
2026-08-19 11:49:40,853 | INFO | REFLECT -> DONE
2026-08-19 11:49:40,853 | INFO | SYSTEM -> You are lumichy-agent, a concise and helpful assistant.
2026-08-19 11:49:57,839 | INFO | FINAL -> (no response)
[tool calls: 3, tokens: 20070]
ログから読み取れる自律挙動の凄さ
-
的確な初期プランニング（PLAN）:
- 「調査 → 作成 → ファイル保存」という3ステップの計画を自ら定義。
-
並列検索クエリの自動発行（ACT: web_search）:
-
東京 3日間 観光 おすすめプラン 定番スポットと東京 観光スポット ランキング 浅草 渋谷 新宿 上野 皇居という2つの異なる視点からのクエリを同時に発行して情報収集。
-
-
検索結果の反映とファイル出力（ACT: write_file）:
- 得られた情報を整理・再構成し、2,600文字を超える詳細なテキストファイルを自動生成。
-
合計3回のツールコールをノーエラーで完走:
- 途中でフォーマットエラーを起こすことなく、合計20,070トークンのコンテキスト処理を無事にやり遂げました。
6. 生成された東京観光プラン（実物）
実際に Qwen3.8-27B が生成し、ローカルに保存した 東京3日間観光プラン.txt の内容がこちらです。
================================================================
東京 3日間 おすすめ観光プラン
================================================================
【コンセプト】
・1日目：伝統と下町情緒（浅草・上野）
・2日目：モダンな東京と若者文化（原宿・渋谷・新宿）
・3日目：絶景とアート、お買い物（皇居・銀座・お台場）
----------------------------------------------------------------
■ 1日目：古きよき東京（浅草・上野コース）
----------------------------------------------------------------
【午前】
・浅草寺・雷門（開門 9:00〜）
- 大提灯の雷門で記念写真
- 本堂で参拝、おみくじを引く
・仲見世通りを散策
- 人形焼き・たいやき・もんじゃ焼きなど食べ歩き
- 東京土産の買い物にも最適
【昼食】
・浅草周辺：天ぷら「大和天」または寿司店でのランチ（予算 1,500〜3,000円）
【午後】
・上野アメヤ横丁（アメ横）
- 食べ歩き・お菓子・雑貨のショッピング
・上野恩賜公園を散策
- 不忍池、東京国立博物館（希望の場合。入館料 1,000円前後）
【夜】
・東京スカイツリータウン（押上）へ移動
- 展望台「天望デッキ」（350m）からの夜景
- ソラマチでディナー（予算 2,000〜4,000円）
----------------------------------------------------------------
■ 2日目：モダンな東京（原宿・渋谷・新宿コース）
----------------------------------------------------------------
【午前】
・明治神宮
- 都心とは思えない静かな参道と森の空間
- 無料、朝は人も少なくおすすめ
・原宿・竹下通り
- カラフルな若者文化、クレープ食べ歩き
・表参道
- デザイナーショップ・カフェ巡り
【昼食】
・渋谷：ラーメン（一蘭・一風堂など）またはカレー（予算 1,000〜2,000円）
【午後】
・渋谷スクランブル交差点
- 世界有数の大規模交差点で写真撮影
- SHIBUYA109、センター街を散策
・新宿へ移動
- 都庁展望室（無料）から東京の街並みを一望
- 思い出横丁・ゴールデン街などネオンの街を体験
【夜】
・新宿でディナー＆バー巡り
- 焼肉・すし・居酒屋など選択肢豊富（予算 2,000〜5,000円）
----------------------------------------------------------------
■ 3日目：絶景とアート（皇居・銀座・お台場コース）
----------------------------------------------------------------
【午前】
・皇居外苑を散策
- 二重橋、東御苑（入苑料 500円）
- 東京駅丸の内側（旧駅舎）の外観も撮影ポイント
・銀座
- 老舗デパート・ブランドショップのお買い物
- 銀座コリドー街のランチ（予算 1,500〜3,000円）
【午後】
・お台場（ゆりかもめで移動）
- 東京湾とレインボーブリッジの絶景
- デックス東京ビーチ、フジテレビ外観見学
- チームラボボーダレス（麻布台ヒルズ）でのデジタルアート体験も選択肢に
【夜】
・六本木ヒルズでディナー
- 展望台「東京シティビュー」（1F展望ラウンジは無料）からの夜景
- 旅の締めくくりとしておすすめ
----------------------------------------------------------------
■ 交通手段のポイント
----------------------------------------------------------------
・Suica / PASMO（またはスマホ決済）を事前に設定
・地下鉄・JR・ゆりかもめが中心。1日乗車券より都営地下鉄1日券
（600円）やJR東京23区内1日券（600円）を活用するとお得
・浅草〜上野：地下鉄銀座線で約5分
・原宿〜渋谷：徒歩圏内
・新宿〜お台場：JR+ゆりかもめで約40分
----------------------------------------------------------------
■ 予算目安（1人あたり、宿泊費別）
----------------------------------------------------------------
・食事：1日 4,000〜8,000円
・入場料：スカイツリー展望台 3,100円、博物館 1,000円前後など
・交通費：1日 1,000〜2,000円
・3日間合計目安：約 20,000〜35,000円（ショッピング別）
----------------------------------------------------------------
■ 旅行のヒント
----------------------------------------------------------------
・浅草寺は朝早く行くほど空いている
・人気レストランは事前に予約がおすすめ
・歩き回る日が多いため、歩きやすい靴を
・お土産は浅草の仲見世通りでまとめて買うと便利
================================================================
（本プランは一般的なモデルコースです。季節や天候、
最新の営業情報に合わせて調整してください。）
================================================================
日程ごとのテーマ分け（下町・モダン・アート）、移動効率、予算感、交通手段のアドバイスまで網羅されており、実用レベルとして申し分のないプランが仕上がっています。
7. まとめと考察
Qwen3.8-27B を llama.cpp でローカル稼働させ、自作エージェント lumichy-agent と組み合わせて検証した結果をまとめます。
良かった点（Strong Points）
- 高いツール呼び出し精度: 複数回の Web 検索からファイル保存まで、引数の JSON エラーなく一発で完走。
- 16GB環境での現実的な運用感: 27B クラスが民生用GPUでサクサク動作し、思考・計画ループを破綻なく回せる。
- 日本語出力の自然さ: 観光プランの構成・言葉遣いともに極めてハイレベル。
注意点・課題（Weak Points）
- コンテキスト肥大時のメモリ管理: エージェントの自律ループが長引くとトークン消費が20K超に達するため、コンテキストキャッシュや軽量フレームワークの採用が必須。
- 実行環境による推論速度（TPS）の低下: 27Bモデルのため、GPUのVRAM容量が不足してCPUメインメモリへのオフロード割合が増えたり、メモリ帯域幅が狭い環境では生成速度（Tokens Per Second: TPS）が著しく低下し、エージェントの自律ループ完了までに時間がかかる点に注意。
Qwen3.8-27B は、「クラウドAPIに頼らず、手元のGPUで本格的なAIエージェントを自律稼働させたい」 という開発者にとって、現在もっともバランスの取れた最強の選択肢の一つと言えます。
ぜひ皆さんも llama.cpp や軽量エージェントと組み合わせて、ローカルAgentのパワーを体験してみてください！
おまけ：DeepSeek Harness で完全無料なローカルエージェント生活
GUI環境でより手軽にローカルエージェントを活用したい場合は、オープンソースのエージェントプラットフォーム DeepSeek Harness（dsh）との組み合わせもおすすめです。
- 解説記事: DeepSeek Harness 完全解説ガイド
llama.cpp でホストした Qwen3.8-27B（unsloth/Qwen3.8-27B-GGUF）を dsh に接続することで、API費用ゼロ・完全ローカルの快適な自律エージェント環境が手に入ります。
▲ DeepSeek Harness で Qwen3.8-27B を Minimal Mode で稼働させている様子
運用のポイント：Minimal Mode の活用
ローカルGPU（特に VRAM 16GB 環境）で運用する際は、コンテキストサイズの急激な肥大化を防ぐため、Minimal Mode を有効にしておくのが重要なコツです。不要なシステムプロンプトや履歴のオーバーヘッドを削ることで、思考速度（TPS）を落とさずに安定した自律タスク実行が可能になります。