タイトル通り。Anacondaのバージョンはanaconda3-2021.05である。
やったこと
TensorFlowでGPUを使いたい。Anacondaから使うことにして、何も考えず
conda install tensorflow-gpu
と、現時点（2021/05/19）で入るのは2.4.1-h30adc30_0。この際CUDAもcondaで同時に入るため、自分でセットアップしなくても良い（というかondaで入れた方を優先する）。
しかし一緒に落としてくるcudatoolkitは10.1.243-h6bb024c_0である。
GeForce RTX20XXシリーズならばこれで普通に動くはずだが、最新のRTX30XXシリーズを使う場合はCUDA 11以上を必要とするので動かない。
TensorFlowはバージョン2以降からCPU版とGPU版とが統合したのだが、Anacondaのmklビルド版（conda install tensorflowだとこっちが入る）を使う限りはバージョン2であってもGPUが使えない。しかしGPU版をインストールしようとすると上記の問題が発生する。
つまり、Anaconda環境下でRTX30シリーズを使ってTensorFlowを回すことができない。
対処法
conda installを使わず、pipで入れる。CUDA周りは自分で入れる必要があるが、一応動いた。