~~※現在WSLがGPUに対応していないので意味ないです。~~
WSL2がGPU対応したのでWSL2を使いましょう。
WSL2では下記のワークアラウンドも不要です。

Ubuntu on WSLにCUDA 10.0とそれに対応したcuDNNをインストールする際にいろんなページを見回ることになったので手順をまとめておきます。

CUDAのインストール

基本的には公式サイトのネットワーク版の手順と同じですがWSL用の対応とバージョン指定の部分だけ変えてあります。

インストール

まず実際にCUDAをインストールする際のコマンドを書いておきます。

$ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-ubuntu1804.pin
$ sudo mv cuda-ubuntu1804.pin /etc/apt/preferences.d/cuda-repository-pin-600
$ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub
$ sudo apt-key add 7fa2af80.pub
$ rm 7fa2af80.pub
$ sudo add-apt-repository "deb http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/ /"
$ sudo apt-get update
$ sudo apt-get -y install cuda-10-0

変更点

$ sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub

がWSLではうまくいかないのでファイルを落としてそれを apt-key add し削除するように変更しています。

$ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub
$ sudo apt-key add 7fa2af80.pub
$ rm 7fa2af80.pub

もう一つ、最後の行で sudo apt-get -y install cuda-10-0 とバージョンを指定するようにしています。
ここで単に sudo apt-get -y install cuda とすると最新のCUDAがインストールされます。

パスを通す

次の一行を.bashrcに追記してください。

export PATH=/usr/local/cuda-10.0/bin:$PATH

cuDNNのインストール

cuDNN Downloadから自分のCUDAのバージョンに対応したものをダウンロードし、それをインストールします。
ダウンロードサイトではログインを求められるのでNVIDIAのアカウントを用意しておいてください。

$ wget ${ダウンロードURL}
$ dpkg -i ${ダウンロードしたファイル名}