LLMをローカルやサーバーで動かすには推論エンジンが必要です。2026年現在、主要な選択肢は4つ。同じハードウェアでもエンジン次第でスループットが3倍変わります。
推論エンジンとは？
モデルの重みをロードし、トークン化を処理し、GPUメモリを管理してレスポンスを返すソフトウェア。APIとしても機能します。
1. vLLM — 本番スループット最強
GitHub: vllm-project/vllm ⭐ 40k+
PagedAttentionという技術でKVキャッシュをOSの仮想メモリのように管理し、スループットを劇的に向上。本番APIサーバーのデファクトスタンダード。
pip install vllm
python -m vllm.entrypoints.openai.api_server \
--model deepseek-ai/DeepSeek-R1-Distill-Qwen-14B \
--port 8000
得意なこと：高スループット・連続バッチ処理・テンソル並列化
苦手なこと：CUDAのみ（NVIDIA GPU必須）・セットアップが複雑
2. Ollama — 開発者体験ナンバーワン
Site: ollama.com ⭐ 100k+
ollama run deepseek-r1:14b 一発でダウンロード・起動・API公開まで完結。llama.cppのラッパーですが、UXが圧倒的に良い。
# インストール（macOS/Linux）
curl -fsSL https://ollama.com/install.sh | sh
# 起動
ollama run deepseek-r1:14b
ollama run llama3.2:3b
ollama run qwen2.5-coder:7b
# localhost:11434 でOpenAI互換APIが起動
得意なこと：ゼロコンフィグ・クロスプラットフォーム（Metal/CUDA/Windows）
苦手なこと：高負荷時のスループットはvLLMに劣る
3. llama.cpp — エッジ/CPU環境の定番
GitHub: ggerganov/llama.cpp ⭐ 70k+
C++で書かれた最軽量エンジン。CPUでも動き、Raspberry PiやMacBookでも実用的。Ollamaはこのエンジンをバックエンドとして使用。
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp && cmake -B build && cmake --build build
./build/bin/llama-server \
-m ./models/deepseek-r1-14b.Q4_K_M.gguf \
--port 8080
得意なこと：どこでも動く（CPU/ARM/Metal）・最小メモリフットプリント
苦手なこと：GPU時はvLLMより低スループット・ビルドが必要
4. TGI — Hugging Face統合に最適
GitHub: huggingface/text-generation-inference ⭐ 9k+
Hugging Face公式の推論サーバー。HF Hubのモデルを直接指定して起動できる。
docker run --gpus all -p 8080:80 \
ghcr.io/huggingface/text-generation-inference:latest \
--model-id deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
得意なこと：HF Hub統合・ストリーミング・ファインチューン済みモデルに最適
苦手なこと：Docker依存・主にHFエコシステム向け
比較表
| エンジン | プラットフォーム | スループット | CPU対応 | 難易度 |
|---|---|---|---|---|
| vLLM | Linux/CUDA | ★★★★★ | ❌ | ★★★ |
| Ollama | 全て | ★★★★ | ✅ | ★★★★★ |
| llama.cpp | 全て | ★★★ | ✅ | ★★★ |
| TGI | Linux/CUDA | ★★★★ | 部分的 | ★★★ |
選択フローチャート
本番APIサーバー（NVIDIA GPU） → vLLM
ローカル開発・プロトタイプ → Ollama
エッジ/CPU/組み込み → llama.cpp
HFカスタムモデル → TGI
vLLM、Ollama、llama.cpp、その他400以上のAIエージェントツールを比較するなら AgDex.ai をご覧ください。