0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@osakana0_0b(OSAKANA)

Proxmox Ubutnu24 Tesla V100を動かす

0
Posted at

環境

SandyBridge-EP Intel cpu
Proxmox9.1
Tesla V100 SXM2 16G

ゲストOS: Ubuntu24 UEFI

参考

ありがとうございます

proxmox cloud init

VM作成 ホスト proxmox

cd /var/lib/vz/template/iso/
wget https://cloud-images.ubuntu.com/releases/noble/release/ubuntu-24.04-server-cloudimg-amd64.img

apt update
apt install -y libguestfs-tools
virt-customize -a ubuntu-24.04-server-cloudimg-amd64.img \
  --install qemu-guest-agent \
  --run-command 'systemctl enable qemu-guest-agent'

# qm create <VMの識別ID>
# --name <VMの名前>
# core/ memory コア、メモリー
# --boot <起動デバイスの優先順位 1,2...>
# --sata0 <local-lvmnに16GiBのディスクを作成>
# --sata1 <仮想CD-ROMドライブ>
# --net<数字> # vmbr4に接続されたVLAN300のネットワークインターフェース
# --nameserver <DNSサーバー>
# ciuser/cipassword ユーザー/パスワード
# --ipconfig0 最初のネットワークインターフェースにIP割り当て
# --sshkeys 公開鍵
# --start 1 作成後起動する
# --ciupgrade false をつけると起動後のパッケージアップデートが省略される
# --serial0 socket --vga serial0  映像出力

qm create 10000 \
  --name ubuntu24-tesla-v100-1 \
  --cores 2 \
  --memory 8192 \
  --machine q35 \
  --scsihw virtio-scsi-pci \
  --net0 virtio,bridge=vmbr1,tag=118 \
  --serial0 socket --vga serial0

qm set 10000 --scsi0 local-lvm:0,import-from=/var/lib/vz/template/iso/ubuntu-24.04-server-cloudimg-amd64.img

qm set 10000 --ide2 local-lvm:cloudinit

qm set 10000 \
  --boot order=scsi0 \
  --nameserver 8.8.8.8 \
  --ciuser user01 \
  --cipassword 'sonoyt24P?' \
  --ipconfig0 ip=192.168.18.56/27,gw=192.168.18.1 \
  --ciupgrade false

qm set 10000 --agent enabled=1 
qm set 10000 --ostype l26 --cpu host

qm set 10000 --bios ovmf
qm set 10000 -efidisk0 local-lvm:1,format=raw,efitype=4m,pre-enrolled-keys=0
qm set 10000 --args '-fw_cfg name=opt/ovmf/X-PciMmio64Mb,string=262144'
#qm template 150
#qm start 150

vCPU4
Memory 48GiB
Disk 64GiB

ゲストOS内での操作

lsb_release -a
#結果
No LSB modules are available.
Distributor ID: Ubuntu
Description:    Ubuntu 24.04.5 LTS
Release:        24.04
Codename:       noble

sudo nano /etc/default/grub
#---
GRUB_CMDLINE_LINUX="net.ifnames=0, biosdevname=0"
#---
sudo update-grub
sudo reboot

から590バージョンのドライバーは互換性がないとか。
580だわな。

# lspci // pceiデバイスが認識されているか

wget https://us.download.nvidia.com/tesla/580.126.20/NVIDIA-Linux-x86_64-580.126.20.run
sudo apt-get update
# 必要になるパッケージ
sudo apt-get install libc-dev -y
sudo apt install -y linux-headers-$(uname -r) gcc g++ make wget pciutils

sudo vi /etc/modprobe.d/blacklist.conf
#追記
blacklist nouveau
options nouveau modeset=0

sudo update-initramfs -u
sudo reboot

無効化を確認できる

lsmod | grep nouveau

sudo chmod +x NVIDIA-Linux-x86_64-580.126.20.run
sudo ./NVIDIA-Linux-x86_64-580.126.20.run
sudo reboot

Building kernel modulesとなり進んでいく。
いろいろ警告はでたが、まあどうにかなりそう。

CUDA13.0はv100の最適化対象になってないとか

CU129 いちおう。

ここを参考に自分の環境にあったものを選ぶ。CUDA12.9を選んだ。
https://developer.nvidia.com/cuda-toolkit-archive

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-ubuntu2404.pin
sudo mv cuda-ubuntu2404.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/12.9.2/local_installers/cuda-repo-ubuntu2404-12-9-local_12.9.2-575.57.08-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu2404-12-9-local_12.9.2-575.57.08-1_amd64.deb
sudo apt-get update
sudo apt-get -y install cuda-toolkit-12-9

user01@ubuntu24-tesla-v100-1:~$ nvidia-smi
Sun Oct 25 07:50:23 2026       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 580.126.20             Driver Version: 580.126.20     CUDA Version: 13.0     |
+-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  Tesla V100-SXM2-16GB           Off |   00000000:01:00.0 Off |                    0 |
| N/A   37C    P0             38W /  300W |       0MiB /  16384MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+

ここで表示される13.0はドライバーが対応可能な最新のCUDAバージョン。実際のシステムはこのコマンドから

/usr/local/cuda-12.9/bin/nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Tue_May_27_02:21:03_PDT_2025
Cuda compilation tools, release 12.9, V12.9.86
Build cuda_12.9.r12.9/compiler.36037853_0

パスも通す

export PATH=/usr/local/cuda-12.9/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.9/lib64:$LD_LIBRARY_PATH
source ~/.bashrc

LLMの推論エンジンについて。
100% GPUオフロードでやるしかない。AVX2非対応の神CPUのため。
vLLMにしようと考えた。が。

ありがとうございます)

..12.9もだめらしい。

torch 2.11+cu126でやるしかない。

ここからCU126をインストール。

#CU129が残っているので削除
sudo apt-get purge -y "cuda*" "nvidia-cuda*" "cublas*"
sudo apt-get autoremove -y
sudo apt-get clean
sudo rm -f /etc/apt/preferences.d/cuda-repository-pin-600
sudo rm -f /etc/apt/sources.list.d/cuda-repo-ubuntu2404-12-9-local.list
sudo rm -f cuda-repo-ubuntu2404-12-9-local_12.9.2-575.57.08-1_amd64.deb cuda-ubuntu2404.pin

CU126

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-ubuntu2404.pin
sudo mv cuda-ubuntu2404.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/12.6.0/local_installers/cuda-repo-ubuntu2404-12-6-local_12.6.0-560.28.03-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu2404-12-6-local_12.6.0-560.28.03-1_amd64.deb


sudo cp /var/cuda-repo-ubuntu2404-12-6-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cuda-toolkit-12-6
export PATH=/usr/local/cuda-12.6/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.6/lib64:$LD_LIBRARY_PATH
source ~/.bashrc

nvcc --version

12.6になった

llama.cppで環境構築する。

sudo apt install git cmake
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_AVX2=OFF -DCMAKE_CUDA_ARCHITECTURES="70"
cmake --build build --config Release -j$(nproc)


./build/bin/llama-cli -m ./models/qwen2.5-7b-instruct-q4_k_m.gguf -ngl 999 -p "Hello"

おつかれまでした

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?