タイトル通り。Anacondaのバージョンはanaconda3-2021.05である。

やったこと

TensorFlowでGPUを使いたい。Anacondaから使うことにして、何も考えず

conda install tensorflow-gpu

と、現時点（2021/05/19）で入るのは2.4.1-h30adc30_0。この際CUDAもcondaで同時に入るため、自分でセットアップしなくても良い（というかondaで入れた方を優先する）。

しかし一緒に落としてくるcudatoolkitは10.1.243-h6bb024c_0である。
GeForce RTX20XXシリーズならばこれで普通に動くはずだが、最新のRTX30XXシリーズを使う場合はCUDA 11以上を必要とするので動かない。

TensorFlowはバージョン2以降からCPU版とGPU版とが統合したのだが、Anacondaのmklビルド版（conda install tensorflowだとこっちが入る）を使う限りはバージョン2であってもGPUが使えない。しかしGPU版をインストールしようとすると上記の問題が発生する。

つまり、Anaconda環境下でRTX30シリーズを使ってTensorFlowを回すことができない。

対処法

conda installを使わず、pipで入れる。CUDA周りは自分で入れる必要があるが、一応動いた。