ある日突然 nvidia-smi がエラーを吐くようになったので、解消までの作業ログです。
突然エラーを吐くようになった原因は調査してません。

エラーメッセージ

$ nvidia-smi
Failed to initialize NVML: Driver/library version mismatch

何やらバージョン違いで怒られている模様。

カーネルのログを確認（抜粋）

$ dmesg |grep NVRM
[    8.110350] NVRM: loading NVIDIA UNIX x86_64 Kernel Module  450.142.00  Wed Jun 16 11:29:20 UTC 2021
[   13.010564] NVRM: API mismatch: the client has the version 470.103.01, but
               NVRM: this kernel module has the version 450.142.00.  Please
               NVRM: make sure that this kernel module and all NVIDIA driver
               NVRM: components have the same version.
[  478.234741] NVRM: client does not support versioning!!

カーネルモジュール（450.142.00）とクライアント（470.103.01）のバージョンが違うよと言われている。

バージョンを確認（抜粋）

$ dpkg -l | grep nvidia
rc  libnvidia-compute-460-server:amd64     470.103.01-0ubuntu0.18.04.1         amd64        Transitional package for libnvidia-compute-470-server
ii  libnvidia-compute-470-server:amd64     470.103.01-0ubuntu0.18.04.1         amd64        NVIDIA libcompute package
hi  nvidia-fabricmanager-450               450.142.00-1                        amd64        Fabric Manager for NVSwitch based systems.

確かにカーネルログと一致。
クライアントのバージョンをカーネルモジュールに揃えてみる。

クライアントを削除

バージョンを揃えるために、現在インストールされているクライアントを削除する

$ sudo apt-get purge libnvidia*

クライアントをインストール

バージョンを揃えてクライアントをインストールする
参考

$ sudo apt-get install cuda-drivers-450

再起動後、確認

$ nvidia-smi
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 450.172.01   Driver Version: 450.172.01   CUDA Version: 11.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Tesla T4            On   | 00000000:00:1E.0 Off |                    0 |
| N/A   31C    P8     9W /  70W |      0MiB / 15109MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

解消しました。