メモ書きです．
色々調べて最新版入れればいいだろと思って
https://www.tensorflow.org/install/source_windows?hl=ja
ここから対応表見てPython3.8とTensorflow-gpu ver2.3でやって見たのですがうまく行かず･･･
どうも，TensorflowにはGPU用のビルドがあるらしく
https://medium.com/lsc-psd/tensorflow2-1%E3%81%A7cuda10-1%E3%81%AA%E3%81%AE%E3%81%ABgpu%E3%81%8C%E8%AA%8D%E8%AD%98%E3%81%95%E3%82%8C%E3%81%AA%E3%81%84%E5%95%8F%E9%A1%8C%E3%81%AE%E8%A7%A3%E6%B1%BA%E6%B3%95-6be5137ec216
現在2021年4月11日時点ではTensorflow 2.3をAnacondaのGUIからダウンロードするとmklビルド（CPU用のビルドらしい）が当たるらしく，それでうまく行かなかったようです．
それぞれのバージョンをPython3.7とTensorflow_gpu-2.1.0まで落としてするとAnacondaのGUIからのインストールでもGPU用のビルドが適用され何事もなくGPU認識となりました．
あとがき
自前でビルドしてしまえば関係ないかもしれないですね．あくまでAnacondaを利用した場合の話です．
使用したバージョン
tensorflow_gpu 2.1.0 (AnacondaのGUIより）
Python 3.7 （AnacondaのGUIより）
MSVC 2019 （参考資料[2]より）
cuDNN 7.6 （参考資料[3]より）
CUDA 10.1 （参考資料[4]より）
システム環境変数のPathに[5]に示してあるようなフォルダのパスを追加すること．（エクスプローラから直接確認コピペすること）
参考資料
[1] https://qiita.com/nemutas/items/c7d9cca91a7e1bd404b6
[2] https://www.kkaneko.jp/tools/win/buildtool.html#S1
[3] https://developer.nvidia.com/rdp/cudnn-archive
[4] https://developer.nvidia.com/cuda-10.1-download-archive-base?target_os=Windows&target_arch=x86_64&target_version=10
[5] https://www.tensorflow.org/install/source_windows?hl=ja