PFRLは、pytorchを使います。
colaborateryには、pytorchがプレインストールされているので、そのまま使えます。gpuも使えます。
早速、試してみます。

import torch
print(torch.__version__)

1.11.0+cu113

pytorchは、torchと入力します。気を付けましょう。アンダーバーは２つです。
colaborateryには、numpyもpandasもmatplotlibもインストールされています。
また、GPUモードだと、cupyもプレインストールされています。

import numpy as np
print(np.__version__)

1.21.6