llama-server でローカルLLMサーバーを構築（llama.cpp + GGUF）

はじめに

この記事では、llama.cpp に含まれる llama-server を使い、
ローカル環境でLLMを立ち上げるサーバーを構築する手順を紹介します。

環境

• Windows 11
• WSL2
• cuda 13.1

llama-server を使ってローカルLLMサーバーを構築する

ここから実際に llama-server を起動し、ローカルLLMサーバーを構築します。

例となるフォルダ構成。C:/LLM/の部分は他のに変えて問題有りません。

C:/LLM/
 ├ llama/    # ← llama.cpp の実行ファイルを配置するディレクトリ
 └ models/   # ← GGUFモデルを配置するディレクトリ

llama.cppをインストールします。

私はcuda 13.0を使っているため、以下をインストールします。

• Windows x64 (CUDA 13)
• CUDA 13.1 DLLs

展開したら、CUDA 13.1 DLLsの中身を全てWindows x64 (CUDA 13)に入れてください。そして、Windows x64 (CUDA 13)の中身をllamaにすべて入れてください。

GGUFモデルの準備

Qwen3.5-9B-Q5_K_M.ggufをダウンロードしてmodelsに入れてください。
VRAM 8GB程度の消費となります。

llama-serverの起動

./llama/llama-server.exe \
  -m ./models/Qwen3.5-9B-Q5_K_M.gguf \
  --port 11434 \
  -ngl 99 \
  -c 16384 \
  --temp 0.3 \
  --top-p 0.9 \
  --repeat-penalty 1.1

サーバーが起動しますので、http://127.0.0.1:11434にブラウザでアクセスしてください。