前置き

現在、UbuntuでNvidiaのGPUを使う方法が環境によって点在しています。というのもdesktop版とserverでのやり方、ドライバの種類、dockerの使用の有無など、があるためです。
という状況になると、複数人でGPUサーバーを管理している場合、前任者がどの入れ方でインストールを行ったかも分かりづらく、何が壊れているかわからないという場合もあるかと思います。今回はそんなGPUサーバーの環境を構築しなおします。

今回の再編の目標は以下です。

Ubuntu-desktopでドライバを楽に入れる
GPUdriverを綺麗にする
dockerにGPUを対応させる

今回行った環境は以下です

スペック・構成
CPU i9-10980XE
RAM 128GB
GPU RTX A6000
OS  ubuntu22.04LTS

目次

GPUドライバの削除
dockerの削除

GPUドライバの削除

ドライバの削除は以下のコマンドでnvidiaに関連するソフトウェアを一括で削除します。

sudo apt purge nvidia-*

どのような状態でドライバがインストールされているかの特定を行うより、最新のドライバを入れ直したほうが早い場合です。後述するGUI経由でインストールされていない場合など恐らくすべての場合に対応します。

dockerの削除

docker周りの調子もおかしかったので再インストールを行います。

sudo apt purge -y --auto-remove docker-*

GPUドライバの再インストール

Ubuntu DesktopではGUIでドライバを管理することができます。
CUI版の場合は、nouveauを無効にする手順が挟まりますが、こちらだと同時にインストールまで行うことができます。(nvidia-driverを選択した時点で自動的に無効化されます)

設定画面を開き、ソフトウェアのアップデートを開く

追加のドライバータブを選択し、上から三つ目のNVIDIA driver metapackageをnvidia-driver-545から使用します(プロプライエタリ)を選択します。

open kernel版とそうでないものの違いはkernelバージョンとの整合性の問題です。UbuntuをはじめとしたLinuxベースのOSにはLinux Kernelが基盤として動いており、このkernelバージョンとの相性によって動かないことがあるため、そのような場合ではこちらを選択することがあります。

ここで再起動

dockerの再インストール

面倒なことは避けたいのでワンライナーを使っていきます。
docker公式のこちらより、

curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh

nvidia container toolkitのインストール

基本的には公式ドキュメントに従って進めていくことになります。Ubuntuの場合はaptを利用します。

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list \
  && \
    sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

2023/12現在の話です。nvidiaのdocker対応はコロコロソフトウェアやバージョンが変わるのでその時々に合わせて変更してください。

動作確認

tsukky@oasis:~$ docker run --gpus all nvidia/cuda:12.3.0-base-ubuntu22.04 nvidia-smi
Unable to find image 'nvidia/cuda:12.3.0-base-ubuntu22.04' locally
12.3.0-base-ubuntu22.04: Pulling from nvidia/cuda
aece8493d397: Already exists 
03bb9eb021f5: Pull complete 
d1937dd2edf2: Pull complete 
89aa5c6f8794: Pull complete 
7d4f0f8effa7: Pull complete 
Digest: sha256:ab701cbe9784a586949674dac46a83cd4bed19944fbc9324619317be865ea678
Status: Downloaded newer image for nvidia/cuda:12.3.0-base-ubuntu22.04
Sun Nov 19 06:51:43 2023       
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 545.29.02              Driver Version: 545.29.02    CUDA Version: 12.3     |
|-----------------------------------------+----------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
|                                         |                      |               MIG M. |
|=========================================+======================+======================|
|   0  NVIDIA RTX A6000               Off | 00000000:68:00.0  On |                  Off |
| 30%   33C    P8              13W / 300W |    356MiB / 49140MiB |      1%      Default |
|                                         |                      |                  N/A |
+-----------------------------------------+----------------------+----------------------+
                                                                                         
+---------------------------------------------------------------------------------------+
| Processes:                                                                            |
|  GPU   GI   CI        PID   Type   Process name                            GPU Memory |
|        ID   ID                                                             Usage      |
|=======================================================================================|
+---------------------------------------------------------------------------------------+