Visual C++ Build Tools 2019 をインストールする

Visual Studio のダウンロードサイトに移動します。
[再頒布可能パッケージおよびビルドツール] を選択します。
以下をダウンロードしてインストールします。

Microsoft Visual C++ 2019 再頒布可能ファイル
Microsoft Build Tools 2019

GPUに対応するドライバーのバージョンを確認

NVIDIAドライブダウンロードサイトにアクセスし対応するドライバーを確認
ドライバーのバージョンをメモ
ドライバーを入れてない場合はダウンロード＆インストール

対応するCUDAとcuDNNをチェックしてダウンロード

先ほどメモったドライバーのバージョンから利用可能なCUDA Toolkitのバージョンを確認する NVIDIA CUDA Toolkit Release Note ドライバーのバージョンより小さいバージョンに対応するCUDAのバージョンを確認する
Build from source on Windows | TensorFlow ここからGPUが利用可能であるCUDAのバージョンを起点として、構築するPython, CUDA, cuDNN, TensorFlowのバージョンを決定する（今回→TensorFlow2.6, Cuda11.4, cuDNN8.2, Python3.9にしました）
TensorFlowのインストール　pip install tensorflow==2.6.0
CUDA Toolkitのインストーラーのダウンロードとインストール CUDA Toolkit Archive
cuDNNのダウンロード cuDNN Archive for CUDAのバージョンに注意
5.をダウンロードしたら中身を全部 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v<バージョン> 内にコピペ

Bazelのインストール

Chocolateyのインストール Chocolateyで、まっさらWindowsに一気にソフトをインストール
Bazelのインストール　choco install bazel

MSYS2のインストール

chocolateyでインストールすると楽ちん　choco install msys2

終わり！

多分本家より気持ちかんたんにインストールできると思います。
Pytorchと比べて手順が多すぎますね..

エラー

Windows10にTensorFlow GPU環境を構築し、学習を回そうとしたら次のエラーがでた
tensorflow.python.framework.errors_impl.AlreadyExistsError: Another metric with the same name already exists.