環境
・Ubuntu22.04LTS(desktop,non GA kernel,Linux kernel 6.5)
・Nvidia-driver-545
・CUDA12.1
・Ryzen7 5700X
・RTX4070 Ti
経緯
unattended-upgrade -v
をしたところ、以下のパッケージのupgradeが実行された。
linux-modules-extra-6.5.0-21-generic
headers-6.5.0-21-generic:amd64
linux-hwe-6.5-headers-6.5.0-21
linux-modules-6.5.0-21-generic
linux-image-6.5.0-21-generic
アップグレード後、nvidia-smiでGPUを認識せず、Nvidia-driverが異常だと思われた。
NVIDIA-SMI has failed because it couldn’t communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.
（画面自体は写っているのでハードとしては動いている）
ドライバを再インストールしたら直ったとの記事があったので
https://qiita.com/mikoaisa/items/1c780819d1ef26c66aa8
apt reinstall nvidia-driver-545
しても認識しない。
nvidia-driverを認識しなくなる原因
最初CUDA12.1はカーネルバージョン5.15系でリリースされているのでそれが悪さしているのかと思った。CUDA12.3は6系でリリースされているため、CUDAのアップグレードも検討したが、pytorchがサポートしているのがCUDA12.1までなので12.3に上げるのは躊躇われた。大抵動くがこういうのでハマると長い。
https://docs.nvidia.com/cuda/archive/12.1.0/cuda-installation-guide-linux/index.html
調べていくと結局CUDAは直接の関係はなく、カーネルアップデート後、dkmsを再度行う必要があるようだが、これが失敗していることが原因だった
https://forums.developer.nvidia.com/t/whats-the-process-for-fixing-nvidia-drivers-after-kernel-updates-in-ubuntu-20-04/208870
症状
dkmsに手動でインストールするために以下のコマンドを実行するが失敗してdkmsが登録できない
sudo dkms install -m nvidia -v <driver_version>
dkmsが失敗する原因
/var/lib/dkms/nvidia/545.23.08/build/make.log
を見たところ、
cc: error: unrecognized command-line option ‘-ftrivial-auto-var-init=zero’
gccがコンパイル時に指定された引数を正しく処理できていないよう。
これは標準のgccのバージョンが古い(ver.11)ためにおこるようだ。
https://forums.linuxmint.com/viewtopic.php?t=389943
対策
gccのバージョンを12に変更する。
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-12 12
そして再度
sudo dkms install -m nvidia -v <driver_version>
を実行。これでGPUを認識するようになった。
※は/usr/src配下のフォルダを確認して正確なバージョンを確認すること
参考