注意事項

proxmoxのバージョンは8.2.2
ホストとLXC内のnvidia-driverバージョンは合わせる

モチベーション

複数の非特権LXCでGPUを共有したい
VMにGPUパススルーする方法では、vGPUを使わないと複数のコンテナでGPUが共有できない
vGPUは一般のコンシューマGPU非対応(RTXシリーズなど)

ホストの初期設定手順

# /etc/apt/sources.list にproxmoxのベースとなっているDebian 12のリポジトリを追加
[+] deb http://deb.debian.org/debian/ bookworm main contrib non-free non-free-firmware
[+] deb-src http://deb.debian.org/debian/ bookworm main contrib non-free non-free-firmware

## buildツールをインストール
apt update
apt upgrade
apt install pve-headers pve-headers-$(uname -r) build-essential

# nvidia driver インストール
wget {Nvidia-Driver_download_URL}
chmod -x ./NVIDIA-Linux-x86_64-{version}.run
./NVIDIA-Linux-x86_64-{version}.run

# /etc/modules-load.d/modules.conf に以下のに行を追加
[+] nvidia
[+] nvidia_uvm

update-initramfs -u

# 確認
nvidia-smi

# 非特権コンテナからアクセスできるようにする
# /etc/udev/rules.d/70-nvidia.rules に以下の行を追加
[+] KERNEL=="nvidia", RUN+="/bin/bash -c '/usr/bin/nvidia-smi -L && /bin/chmod 666 /dev/nvidia*'"
[+] KERNEL=="nvidia_uvm", RUN+="/bin/bash -c '/usr/bin/nvidia-modprobe -c0 -u && /bin/chmod 0666 /dev/nvidia-uvm*'"

LXCを作成するたびに実施する手順

modprobe nvidia-uvm
ls /dev/nvidia* -l
# 以下の内容が表示
# crw-rw-rw- 1 root root 195,   0 Jun 13 23:10 /dev/nvidia0
# crw-rw-rw- 1 root root 195, 255 Jun 13 23:10 /dev/nvidiactl
# crw-rw-rw- 1 root root 508,   0 Jun 13 23:10 /dev/nvidia-uvm
# crw-rw-rw- 1 root root 508,   1 Jun 13 23:10 /dev/nvidia-uvm-tools
# /dev/nvidia-caps:
# total 0
# cr-------- 1 root root 511, 1 Jun 13 23:10 nvidia-cap1
# cr--r--r-- 1 root root 511, 2 Jun 13 23:10 nvidia-cap2

# /etc/pve/lxc/<lxc_id>.conf に以下の内容を追記
# <number from previous step>には上記の数値を入力（この例では、195, 508, 511の3つ）
[+] lxc.cgroup.devices.allow: c <number from previous step>:* rwm
[+] lxc.cgroup.devices.allow: c <number from previous step>:* rwm
[+] lxc.cgroup.devices.allow: c <number from previous step>:* rwm
[+] lxc.mount.entry: /dev/nvidia0 dev/nvidia0 none bind,optional,create=file
[+] lxc.mount.entry: /dev/nvidiactl dev/nvidiactl none bind,optional,create=file
[+] lxc.mount.entry: /dev/nvidia-uvm dev/nvidia-uvm none bind,optional,create=file
[+] lxc.mount.entry: /dev/nvidia-modeset dev/nvidia-modeset none bind,optional,create=file
[+] lxc.mount.entry: /dev/nvidia-uvm-tools dev/nvidia-uvm-tools none bind,optional,create=file
[+] lxc.mount.entry: /dev/nvidia-uvm-tools dev/nvidia-caps/nvidia-cap1 none bind,optional,create=file
[+] lxc.mount.entry: /dev/nvidia-uvm-tools dev/nvidia-caps/nvidia-cap2 none bind,optional,create=file

コンテナ内での作業(今回はUbuntu22.04を使用)

# Nvidia-Driverをインストール
sudo apt update
sudo apt upgrade
sudo apt install  build-essential
wget {Nvidia-Driver_download_URL}
chmod -x ./NVIDIA-Linux-x86_64-{version}.run
bash ./NVIDIA-Linux-x86_64-{version}.run --no-kernel-module
# 再起動
# 確認
nvidia-smi

proxmoxの非特権LXC内でGPU(Nvidia)を認識させる備忘録

注意事項

モチベーション

ホストの初期設定手順

LXCを作成するたびに実施する手順

コンテナ内での作業(今回はUbuntu22.04を使用)

参考記事