失敗編

成功編は後述

GPUの確認

$ lspci | grep -i nvidia
01:00.0 VGA compatible controller: NVIDIA Corporation GP102 [TITAN X] (rev a1)
01:00.1 Audio device: NVIDIA Corporation GP102 HDMI Audio Controller (rev a1)
02:00.0 VGA compatible controller: NVIDIA Corporation GP102 [TITAN X] (rev a1)
02:00.1 Audio device: NVIDIA Corporation GP102 HDMI Audio Controller (rev a1)

現在のNVIDIA-driverの確認

$ dpkg -l grep nvidia
dpkg-query: no packages found matching nvidia

何もない場合はこうなる

現在のNVIDIA-driverの消去

$ sudo apt-get --purge remove nvidia-*
[sudo] password for OO:

適したドライバの確認

$ ubuntu-drivers devices
== /sys/devices/pci0000:00/0000:00:01.1/0000:02:00.0 ==
modalias : pci:v000010DEd00001B00sv000010DEsd0000119Abc03sc00i00
vendor   : NVIDIA Corporation
model    : GP102 [TITAN X]
driver   : nvidia-driver-515-server - distro non-free
driver   : nvidia-driver-450-server - distro non-free
driver   : nvidia-driver-470 - distro non-free
driver   : nvidia-driver-510 - distro non-free
driver   : nvidia-driver-470-server - distro non-free
driver   : nvidia-driver-510-server - distro non-free
driver   : nvidia-driver-520 - distro non-free
driver   : nvidia-driver-390 - distro non-free
driver   : nvidia-driver-515 - distro non-free recommended
driver   : nvidia-driver-418-server - distro non-free
driver   : xserver-xorg-video-nouveau - distro free builtin

↑の情報を基にして適したドライバを検索します。（推奨ドライバが複数あったため）
NVIDIA driverの検索

私の場合は以下のようになりました。

インストール

nvidia-driver-515のインストール

$ sudo add-apt-repository ppa:graphics-drivers/ppa
$ sudo apt-get update
$ sudo apt-get install nvidia-driver-515

再起動

$ sudo reboot

確認

$ nvidia-smi

成功編

上記の方法でなぜできないのはわかりませんでした。
くやしい。。。

アップデート

$ sudo apt update
$ sudo apt upgrade

アンインストール

$ sudo apt purge nvidia-*
$ sudo apt purge cuda-*

インストール

sudo ubuntu-drivers install

再起動

$ sudo reboot

確認

$ nvidia-smi