専用GPUなしのPCでローカルLLMを試してみた
ローカルLLMについて個人的に調べる機会があったため、
手元にあるPCでどの程度動作するのか簡単に確認してみました。
本格的なベンチマークではなく、
「一般的なPCでもローカルLLMはどのくらい動くのか？」
という程度の動作確認です。
使用したPC
MINISFORUM UM880 Plus
- CPU: AMD Ryzen 7 8845HS
- GPU: Radeon 780M（内蔵GPU）
- メモリ: DDR5 32GB
- OS: Windows 11
- 実行環境: LM Studio
ThinkPad X13 Gen 2
- CPU: 第11世代 Intel Core
- GPU: Intel Iris Xe（内蔵GPU）
- メモリ: 16GB
- OS: Windows 11
- 実行環境: LM Studio
実行結果
| PC | モデル | 主な設定 | 生成速度 |
|---|---|---|---|
| UM880 Plus / Radeon 780M / 32GB | Qwen3.5 9B | Q4_K_M / Context 16384 / GPU Offload 32 | 約12～13 tok/s |
| UM880 Plus / Radeon 780M / 32GB | Qwen3.5 27B | GGUF量子化モデル | 約2.85 tok/s |
| ThinkPad X13 Gen 2 / Iris Xe / 16GB | Gemma 4 E4B | Context 8192 / GPU Offload 42 | 10.19 tok/s |
Radeon 780Mでは9Bクラスで12～13 tok/s程度となり、
個人的には思っていたより普通に利用できる速度でした。
27Bクラスも32GBメモリで動作させることはできましたが、
約2.85 tok/sまで低下するため、用途によっては厳しそうです。
また、ThinkPad X13 Gen 2のIris Xeでも、
4Bクラスのモデルで約10 tok/sとなりました。
専用GPUを搭載していない一般的なノートPCでも、
小型モデルであれば十分試すことができそうです。
Radeon 780MのUMA設定も比較
UM880 PlusのBIOSでUMA Frame Buffer Sizeを変更し、
Qwen3.5 9Bを同程度の条件で実行してみました。
| UMA Frame Buffer | 生成速度 |
|---|---|
| 2GB（1回目） | 約12.2 tok/s |
| 8GB | 12.91 tok/s |
| 8GB（再測定） | 12.89 tok/s |
| 16GB | 13.16 tok/s |
| 2GB（再測定） | 12.11 tok/s |
2GBから8GBに増やすことで多少速度が向上しましたが、
8GBから16GBでは大きな差はありませんでした。
Radeon 780MではUMAとして確保した領域も物理的には同じDDR5を使用するため、
UMAを大きくすれば大幅に高速化する、というものではなさそうです。
通常利用とのバランスを考えると、
今回の環境ではBIOS標準の2GBのままでもよさそうだと感じました。
Docker + Ollamaも試してみた
WSL2（Ubuntu 24.04）にDockerを導入し、
公式のOllama DockerイメージからLlama 3.2 3Bを実行しました。
Docker上でのLLM実行自体は問題なくできました。
確認したところ、
PROCESSOR 100% CPU
となっており、この構成ではRadeon 780Mは使用されていませんでした。
WSL2からは /dev/dxg は認識されているものの、
VulkanではRadeon 780Mではなく llvmpipe が認識されました。
そのため、Dockerから780Mを利用する場合は、
Linuxを直接起動した環境でROCm/Vulkanを利用する方が
構成としては素直そうです。
まとめ
今回試した範囲では、
- Radeon 780M + 32GBなら9Bクラスは比較的快適に動作
- 27Bクラスも動作するが生成速度はかなり低下
- Iris Xe + 16GBでも4Bクラスなら動作可能
- 内蔵GPUでも小型LLMなら十分試せる
- UMA容量を増やす効果は限定的
- WSL2 + DockerでAMD内蔵GPUを利用するのは少しハードルが高い
という結果になりました。
専用GPUがなくても、
手元のPCでローカルLLMを試してみる程度であれば、
思っていたより遊べることが分かりました。