はじめに:「ローカルLLMを動かすには高価な専用GPU(NVIDIA等)が必要」という誤解
「機密データやログを外部クラウドAIに出したくないので、ローカルLLMをオンプレミスで動かしたい」
そう考えたとき、多くのエンジニアが最初に諦める原因が 専用GPU(NVIDIA GeForce RTX 等の外付けグラフィックボード:dGPU)の高額なコストと熱・消費電力 です。
- 「VRAM 24GBの専用GPUマシンを用意するだけで数十万円かかる」
- 「1Lサイズの小型ミニPCや一般的な省スペース機には、そもそも専用グラボが物理的に入らない(CPU内蔵GPUのみ)」
しかし、近年の小型オープンモデル(特に Qwen2.5 シリーズ等のSLM:Small Language Model)の進化により、この前提は覆りました。
定型データの要約、ログ解析、JSON構造化、FAQ応答といった用途であれば、1.5B〜3B(15億〜30億パラメータ)の軽量4-bit量子化モデル で驚くほど高い精度が出ます。
そして、DockerとModelfile(およびAPI呼び出しオプション)で適切なメモリ・スレッド調律を施せば、専用GPUを持たない1Lサイズの省電力ミニPC(Core i5-8400T / 内蔵UHD Graphics 630 / メモリ32GB)のCPU推論(llama.cpp)だけで、実用十分な高速レスポンス を叩き出せます。
本記事では、専用GPUなしのCPUオンプレミス環境(32GB RAM)でOllamaを限界まで高速化するチューニング設定と、実機改修・ベンチマーク検証で判明した勘所を解説します。
1. なぜ「専用GPUなし×大容量32GB RAM×Qwen2.5:1.5b」が強いのか?
1LサイズのミニPCに搭載されている「Intel UHD Graphics 630」はCPU内蔵GPU(iGPU)であるため、Ollamaは自動的に CPU推論モード(llama.cpp) で動作します。
CPU推論において最大の武器になるのが、32GBの広大なメインメモリ空間と軽量モデル Qwen2.5:1.5b の組み合わせです。
| モデル名 | パラメータ | モデルサイズ (Q4) | Core i5-8400T (CPU推論) | 日本語・JSON出力性能 |
|---|---|---|---|---|
| Qwen2.5:1.5b | 1.54B | 986 MB | 実測 26.3〜27.1 tokens/sec | 🟢 極めて高い (破綻なし) |
| Qwen2.5:0.5b | 0.49B | 397 MB | 約 45〜55 tokens/sec | 〇 超高速(定型コマンド生成向け) |
| Llama-3.2:1b | 1.23B | 約 700 MB | 約 30〜35 tokens/sec | 🔺 日本語が不自然になりがち |
| Llama-3.2:3b | 3.21B | 約 2.0 GB | 約 12〜15 tokens/sec | 〇 良好だがCPU負荷がやや高い |
モデルサイズが986MB(オンメモリ展開時でも約1.15GiB)しかないため、32GBのメインメモリ環境であれば、FastAPI(Web)、MariaDB、Snipe-IT、並列スキャンワーカーを同居させながらでも、モデルを24時間丸ごとオンメモリにピン留め(常駐) できます。
2. Docker Compose によるOllama CPU最適化設定
CPU推論で最もやってはいけないアンチパターンは、「デフォルト設定のまま動かしてCPU全6コアを100%張り付きにし、同居するWebやDBコンテナまで詰まらせること」 と 「5分ごとにモデルがメモリから解放されて毎回ディスク読み込み(コールドスタート)が発生すること」 です。
32GBの余裕あるRAMを活かし、以下の設定でモデルをメモリに常駐させつつCPUコア数を制御します。
💻 コア実装・設定スニペット(抜粋)
# (要点抜粋: docker-compose.yaml)
services:
ollama:
image: ollama/ollama:latest
container_name: ollama
restart: unless-stopped
ports:
- "11434:11434"
environment:
# 割り当てた4コアに合わせて最大スレッド数を4に固定
- OLLAMA_MAX_THREADS=${OLLAMA_MAX_THREADS:-4}
# 並列リクエストによるCPUスレッド競合を防ぎ、1リクエストずつ最高速で捌く
- OLLAMA_NUM_PARALLEL=1
# 32GB RAMの余裕を活かし、5分後のアンロードを防いで24時間メモリ上に常駐させる
- OLLAMA_KEEP_ALIVE=24h
- OLLAMA_MAX_LOADED_MODELS=1
volumes:
- ollama_data:/root/.ollama
- ./scanner_scripts/Modelfile:/root/.ollama/Modelfile:ro
# 6コア中4コア相当に上限をキャップし、Web APIやDB用に2コアを残す
deploy:
resources:
limits:
cpus: '4.0'
memory: 4G
healthcheck:
test: ["CMD", "ollama", "list"]
interval: 10s
timeout: 5s
retries: 5
3. Modelfile とAPI呼び出しオプションによるパラメータ調律(+実機で判明した注意点)
コンテキスト長(num_ctx)をデフォルトのまま(4096〜32768等)大きく取ると、KVキャッシュの計算でCPU推論が急激に重くなります。
ログ要約や定型Q&A、JSON構造化であれば 2048 トークン に絞るのがCPU推論高速化の秘訣です。
# Modelfile 設定 (scanner_scripts/Modelfile)
FROM qwen2.5:1.5b
# コンテキストウィンドウを2048に制限してCPUでのKVキャッシュ計算量を削減
PARAMETER num_ctx 2048
# 割り当てたCPUコア数に合わせてスレッド数を調律
PARAMETER num_thread 4
# ハルシネーションを抑えて決定論的に応答させる
PARAMETER temperature 0.2
PARAMETER top_p 0.9
SYSTEM """
あなたはインフラ・システム運用の技術アシスタントAIです。
与えられたホスト情報やスキャン結果に基づき、セキュリティや運用上の注意点を簡潔かつ正確に日本語で要約・回答してください。
"""
作成した Modelfile を以下のコマンドでビルドして登録します。
docker exec -i ollama ollama create local-assistant -f /root/.ollama/Modelfile
⚠️ 【実機検証で判明した1.5Bモデルの落とし穴(過剰拒否バイアス)】
当初、SYSTEMプロンプトに「データにない事柄は推測せず『特定不可』と回答してください」という強い否定・拒否ワードを入れて試験したところ、1.5Bクラスの軽量モデルではその単語自体に引っ張られ、通常の要約プロンプトに対しても特定不可とだけ即答して終了してしまう現象(Over-refusal) が発生しました。
軽量SLMではシステムプロンプトにカギ括弧付きの拒否定型句を入れず、上記のように肯定形で役割と出力形式を指示することで、的確な日本語要約が安定して得られるようになります。
また、Pythonアプリケーション側から直接ベースモデル(qwen2.5:1.5b)をAPI呼び出しする場合も、リクエストペイロードの options と keep_alive を明示的に揃えておくことで、どの経路から呼ばれても設定漏れを防げます。
# Python API呼び出し側のチューニング指定例 (chat_agent.py / llm_backend.py)
payload = {
"model": "qwen2.5:1.5b",
"messages": messages,
"stream": False,
"keep_alive": "24h",
"options": {
"num_ctx": 2048,
"num_thread": 4,
"num_predict": 384,
"temperature": 0.2,
"top_p": 0.9,
},
}
💡 【実機検証で判明したタイムアウト分離の勘所】
バッチスキャン用の短時間タイムアウト(LLM_TIMEOUT=10秒)と、資産DBコンテキスト(約650トークン)を読み込んで長文回答するWeb対話用のタイムアウト(CHAT_LLM_TIMEOUT=30秒、num_predict: 384)は環境変数で分離しておくのが鉄則です。これにより、非ストリーミング一括応答時(約9.2秒)の途中切断(ReadTimeout)を防げます。
4. 実機ベンチマーク:CPU推論でのレスポンス実測検証
上記のチューニングを実機パソコン(ASUS VivoMini VC65-C1: Intel Core i5-8400T @ 1.70GHz 6コア/6スレッド / 内蔵UHD 630 / DDR4 32GB デュアルチャネル [16GB×2] / KIOXIA SSD 960GB / Ubuntu Linux ※Ubuntu 24.04/22.04 LTS 完全互換)に適用し、Ollama API経由で各種パラメータを変調させて採取した実測データです。
💡 【再現性の最重要ポイント:メモリのデュアルチャネル動作】
Core i5のCPU推論で毎秒26〜27トークンを引き出す鍵は 「DDR4-2666 メモリのデュアルチャネル構成(128bit幅・理論帯域 42.66 GB/s)」 にあります。もし1枚挿しのシングルチャネル構成(64bit幅・理論帯域 21.33 GB/s)で動かした場合、メモリ帯域律速により推論速度は 13〜15 tokens/sec 程度に半減 します。同一CPU環境で性能が出ない場合は必ずメモリスロット構成を確認してください。
① 単体要約プロンプト:コールドスタート vs オンメモリ常駐
プロンプト: "対象ホスト 192.168.1.50 (Ubuntu 22.04) で OpenSSH 8.9p1 が稼働しています。セキュリティパッチ適用の観点で注意すべき点を2文で簡潔に要約してください。" (135トークン)
| 測定メトリクス | 1回目 (初回コールドロード) | 2回目 (OLLAMA_KEEP_ALIVE=24h 常駐) | 改善効果 / 判定 |
|---|---|---|---|
モデルロード時間 (load_duration) |
1,643.86 ms | 0.84 ms | 🟢 約1,950倍短縮 (ディスクI/Oゼロ) |
プロンプト評価時間 (prompt_eval) |
1,310.61 ms | 37.66 ms | 🟢 34.8倍短縮 (キャッシュ再利用) |
トークン生成速度 (eval_rate) |
27.18 tokens/sec | 26.46 tokens/sec | 🟢 CPU推論で毎秒26〜27トークンを安定維持 |
総所要時間 (total_duration) |
5,569.29 ms | 2,422.41 ms | 🟢 応答完了までわずか2.4秒 |
② スレッド数スケーリング検証(なぜ 4スレッド が最適なのか?)
Core i5-8400T(6コア物理CPU)において推論スレッド数(num_thread)を変更した際の実測生成速度です。
スレッド数 (num_thread) |
生成速度 (eval_rate) |
プロンプト評価速度 | 総所要時間 | 動作挙動・CPU負荷 |
|---|---|---|---|---|
| 1 スレッド | 10.23 tokens/sec | 27.70 tokens/s | 11.95 秒 | 1コアのみ使用。速度は遅いが他への影響皆無 |
| 2 スレッド | 19.23 tokens/sec | 53.90 tokens/s | 6.84 秒 | 良好な線形スケーリング |
| 4 スレッド (最適推奨) | 26.89 tokens/sec | 103.46 tokens/s | 5.37 秒 | 🟢 最高速。残り2コアでWeb/DBが完全に安定稼働 |
| 6 スレッド (アンチパターン) | 8.09 tokens/sec | 47.37 tokens/s | 13.17 秒 | 🚨 速度が約70%暴落。スレッド競合・L3キャッシュ枯渇 |
⚠️ 【実機検証で判明した超重要知見:6コア全開による速度暴落】
「6コアあるなら6スレッド全開にすれば最速になる」と考えがちですが、実測結果は 26.89 t/s → 8.09 t/s への大暴落 でした。
原因は、Core i5-8400Tの共有L3キャッシュ(9MB)に対するメモリ帯域幅の枯渇と、全コア飽和によるOSコンテキストスイッチ多発です。cpus: '4.0'かつnum_thread: 4に絞ることで最高スループットを発揮します。
③ KVキャッシュ効果(資産台帳 765トークン のWeb対話)
10台分の詳細インフラ台帳(約765トークン)をコンテキストに含めた実機対話レスポンスです。
| 呼び出しフェーズ | プロンプト評価時間 (prompt_eval) |
評価速度 | トークン生成速度 | ユーザー体感応答 (TTFT) |
|---|---|---|---|---|
| 1回目 (コールドコンテキスト) | 7,425.76 ms (約7.4秒) | 103.56 t/s | 24.19 tokens/sec | 最初の一文字が出るまで 約7.5秒 |
| 2回目 (KVキャッシュヒット) | 404.03 ms (約0.4秒) | 1,893.41 t/s | 24.42 tokens/sec | 🟢 最初の一文字が出るまで 0.5秒未満 |
| セッション再利用時 | 41.80 ms (約0.04秒) | 18,300 t/s | 23.57 tokens/sec | 🟢 ほぼゼロ遅延でストリーム開始 |
32GBメモリ上にモデルとKVキャッシュを常駐(OLLAMA_KEEP_ALIVE=24h)させているため、長文コンテキスト対話でも KVキャッシュヒットによりプロンプト評価が0.4秒以下 に短縮され、毎秒24〜27トークンの快適な速度で動作します。
まとめ:専用GPUが載らない小型ミニPCは「大容量RAM × 軽量SLM」で攻略する
1LサイズのミニPCには専用GPU(dGPU)が物理的に積めませんが、だからといってオンプレAIを諦める必要はありません。
- 専用グラボの代わりに「32GBの大容量メインメモリ」を活かしてモデルを完全オンメモリ常駐(
OLLAMA_KEEP_ALIVE=24h)させる Qwen2.5:1.5b(Q4量子化)を選び、num_ctx 2048でCPUのKVキャッシュ計算負荷を絞る- 6コアCPUのうち4コア(
cpus: '4.0',num_thread: 4)を推論に割り当て、残り2コアでWeb・DB・並列ワーカーを安定稼働させる - 1.5Bモデルではシステムプロンプトに過剰な拒否ワードを入れず、肯定形で簡潔に指示する
この設計により、省スペースな内蔵GPUミニPC1台で、システム全体とローカルLLMを熱暴走ゼロで同居させることができます。ぜひ試してみてください!
📚 さらに詳しいアーキテクチャ設計・パラメータ表・トラブルシューティング
最後までお読みいただきありがとうございます!
本記事が少しでも「役に立った」「あとで試したい」と感じていただけましたら、ぜひQiitaの 「いいね(♡)」 と 「ストック」、および アカウントのフォロー をいただけると今後の検証・執筆の大きな励みになります!
また、本記事のさらに踏み込んだ 「深層アーキテクチャ解説」「主要パラメータの技術的根拠」「現場アンチパターン・トラブルシューティング対応表」 は、以下のGitHub技術リファレンスにて公開しています。
👉 【第23弾 詳細技術リファレンス (QIITA_ARTICLE_DETAIL_23.md)】
⭐ 全14層・200パターンの自立型インフラ&オンプレAIリファレンス集(おじさんの武器庫)を順次公開中です。ぜひGitHubリポジトリへの Star (★) と X (@OjisanTechnical) のフォローもお願いいたします!
👉 GitHub リポジトリ: ojisantech/ojisan-arsenal
💡 【検証環境・個人研究(PoC)に関する注記】
本記事は、筆者個人の自宅検証環境(ホームラボ/仮想環境)において、公開情報およびOSS(オープンソースソフトウェア)を用いて独自に構築・検証した個人研究(PoC)の記録です。特定の企業・団体の実環境や業務上の非公開情報とは一切関係ありません。