現象

nvidia-smiが突然使えなくなり、driverの再インストールを試みたが上手くいかなかった

結論

最新版のドライバで --no-cc-version-check が使えず、gccのversion mismatchが起こり続けていた。gccのバージョン上げてシンボリックリンクを正しくすると解決

環境

Ubuntu 22.04
GPUドライバ (NVIDIA-Linux-x86_64-535.146.02)

内容と推測

Ubuntu 22.04で使っていたGPUがいつの間にか反応しなくなり、nvidia-smiをしたところ反応せず。
GPUのドライバが使えない状況になっていた。

Ubuntuのセキュリティアップグレード等をしたかもしれないので、その影響かも

やったこと

GPUドライバのインストール

いつも通りNVIDIAのホームページからGPUドライバをダウンロード

事前準備
画面が消えるので、SSHでアクセスできるようにしている

sudo apt-get update
sudo apt-get install build-essential
sudo apt-get install openssh-server
ip address

nouveauの無効化

sudo vi /etc/modprobe.d/blacklist-nouveau.conf
　　blacklist nouveau
　　options nouveau modeset=0
sudo update-initramfs -u

gdmのサービス停止

sudo service gdm stop

ドライバインストール

sudo sh ./<ドライバ名> --dkms

gccのバージョンミスマッチが起きていたので、臨時対処でオプション追加

sudo sh ./<ドライバ名> --dkms --no-cc-version-check

これでもgccのバージョンをチェックされてインストールできない。。。

おとなしくgccのバージョンアップを実施

エラーログを見るとv12を要求されていたのでインストール

sudo apt-get update
sudo apt-get -y install gcc-12

これだけだと既にあるv11が使用されるため不十分

シンボリックリンクの確認と変更

シンボリックリンクを変えないと、ドライバインストール時に参照されるのがv11のままになってしまう
ここからは具体的な実行結果も

gccの確認

user@user:~$ ls /usr/bin/gcc* -l
user@user:/usr/bin$ ls -l gcc*
lrwxrwxrwx 1 root root  6  1月 14 23:08 gcc -> gcc-11
lrwxrwxrwx 1 root root 23  5月 13  2023 gcc-11 -> x86_64-linux-gnu-gcc-11
lrwxrwxrwx 1 root root 23  5月 13  2023 gcc-12 -> x86_64-linux-gnu-gcc-12
lrwxrwxrwx 1 root root  9  8月  5  2021 gcc-ar -> gcc-ar-11
lrwxrwxrwx 1 root root 26  5月 13  2023 gcc-ar-11 -> x86_64-linux-gnu-gcc-ar-11
lrwxrwxrwx 1 root root 26  5月 13  2023 gcc-ar-12 -> x86_64-linux-gnu-gcc-ar-12
lrwxrwxrwx 1 root root  9  8月  5  2021 gcc-nm -> gcc-nm-11
lrwxrwxrwx 1 root root 26  5月 13  2023 gcc-nm-11 -> x86_64-linux-gnu-gcc-nm-11
lrwxrwxrwx 1 root root 26  5月 13  2023 gcc-nm-12 -> x86_64-linux-gnu-gcc-nm-12
lrwxrwxrwx 1 root root 13  1月 14 23:10 gcc-ranlib -> gcc-ranlib-11
lrwxrwxrwx 1 root root 30  5月 13  2023 gcc-ranlib-11 -> x86_64-linux-gnu-gcc-ranlib-11
lrwxrwxrwx 1 root root 30  5月 13  2023 gcc-ranlib-12 -> x86_64-linux-gnu-gcc-ranlib-12

gcc-11に紐づけられていることが分かる

シンボリックリンクの変更と確認

user@user:~$ cd /usr/bin/
user@user:~$ sudo ln -nfs gcc-12 /usr/bin/gcc
user@user:~$ sudo ln -nfs gcc-ranlib-12 /usr/bin/gcc-ranlib

user@user:/usr/bin$ ls -l gcc*
lrwxrwxrwx 1 root root  6  1月 14 23:08 gcc -> gcc-12
lrwxrwxrwx 1 root root 23  5月 13  2023 gcc-11 -> x86_64-linux-gnu-gcc-11
lrwxrwxrwx 1 root root 23  5月 13  2023 gcc-12 -> x86_64-linux-gnu-gcc-12
lrwxrwxrwx 1 root root  9  8月  5  2021 gcc-ar -> gcc-ar-11
lrwxrwxrwx 1 root root 26  5月 13  2023 gcc-ar-11 -> x86_64-linux-gnu-gcc-ar-11
lrwxrwxrwx 1 root root 26  5月 13  2023 gcc-ar-12 -> x86_64-linux-gnu-gcc-ar-12
lrwxrwxrwx 1 root root  9  8月  5  2021 gcc-nm -> gcc-nm-11
lrwxrwxrwx 1 root root 26  5月 13  2023 gcc-nm-11 -> x86_64-linux-gnu-gcc-nm-11
lrwxrwxrwx 1 root root 26  5月 13  2023 gcc-nm-12 -> x86_64-linux-gnu-gcc-nm-12
lrwxrwxrwx 1 root root 13  1月 14 23:10 gcc-ranlib -> gcc-ranlib-12
lrwxrwxrwx 1 root root 30  5月 13  2023 gcc-ranlib-11 -> x86_64-linux-gnu-gcc-ranlib-11
lrwxrwxrwx 1 root root 30  5月 13  2023 gcc-ranlib-12 -> x86_64-linux-gnu-gcc-ranlib-12

とりあえずgccとgcc-ranlibをgcc-12にリンクしなおした。正しいかは分からないのでご注意を

GPUドライバインストール

sudo service gdm stop
sudo sh ./<ドライバ名> --dkms

インストールできた！