Ubuntu on EVO-X2

128GBのメモリを活かして gpt-oss-120b を動かす。

ツール

$ sudo apt install build-essential git glslc libcurl4-openssl-dev libvulkan-dev vulkan-tools

ドライバー

$ wget https://repo.radeon.com/amdgpu-install/6.4.4/ubuntu/noble/amdgpu-install_6.4.60404-1_all.deb
$ sudo apt install ./amdgpu-install_6.4.60404-1_all.deb
$ sudo amdgpu-install -y --usecase=graphics,rocm
$ sudo usermod -a -G render,video $LOGNAME
$ sudo reboot

llama.cpp

$ git clone https://github.com/ggml-org/llama.cpp
$ cd llama.cpp
$ cmake -B build -DGGML_VULKAN=1
$ cmake --build build --config Release -j

llama-cliで動作確認

$ bin/llama-cli -hf ggml-org/gpt-oss-120b-GGUF  --ctx-size 0 --jinja -ub 2048 -b 2048

llama-server起動

$ cd build
$ bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF  --ctx-size 0 --jinja -ub 2048 -b 2048