NucBox M7で VRAM16GB確保し GPUで Ollama v0.14.3を動かす

• GMKtec NucBox M7 DDR5 32GB + 1TB SSD
  https://www.amazon.co.jp/dp/B0DB7XGNDD

VRAMとして16GBを確保

BIOS -> Advanced -> GFX Configuration
UMA Frame buffer Size：16G

AMD HIP SDK for Windowsのインストール

• ROCm Version：6.4.2
• AMD-Software-PRO-Edition-25.Q3-Win10-Win11-For-HIP.exe

Ollama v0.14.3の場合

• Windows版Ollamaの画像生成対応が待ち遠しいです

Ollama v0.14.3のインストール

• v0.14.3 Assets
• OllamaSetup.exe

ollama for amdへの置き換え

• v0.14.3 Assets
• C:\Users\xxx\AppData\Local\Programs\Ollama 以下の既存ファイルを ollama-windows-amd64.7z 内のファイルに置き換えます

ROCmライブラリの更新

• v0.6.4.2 (Rocblas and library for hip sdk 6.4.2 (for Windows))
• gfx1034; gfx1035; gfx1036：rocm.gfx1034-gfx1035-gfx1036.for.hip.sdk.6.4.2.7z
• C:\Users\xxx\AppData\Local\Programs\Ollama\lib\ollama\rocm\rocblas のlibraryフォルダとrocblas.dllに置き換えます

Anaconda Distributionのインストール

• Anaconda3-2025.12-1-Windows-x86_64.exe

Ollamaライブラリのインストール

pip install ollama

Successfully installed ollama-0.6.1

Ollamaサーバを起動

ollama serve

level=INFO source=routes.go:1618 msg="entering low vram mode" "total vram"="16.0 GiB" threshold="20.0 GiB"

ベンチマーク

• qwen2.5vl:7b：tokens per second: 13.84 tokens/second
• gemma3:12b：tokens per second: 8.17 tokens/second
• qwen2.5:14b：tokens per second: 7.11 tokens/second
• deepseek-r1:14b：tokens per second: 6.77 tokens/second
• gpt-oss:20b：tokens per second: 16.08 tokens/second
• gemma2:27b：tokens per second: 3.84 tokens/second
• gemma3:27b：NG