Ubuntu 22.04LTS の場合です。
手順
基本、下記に書いてある通りです。
ただし、deb ファイルはカーネルに対応した適切なバージョンを選ぶ必要があるようです。たとえば 5.15 (22.04LTS デフォルト) なら、
$ wget https://repo.radeon.com/amdgpu-install/5.3/ubuntu/jammy/amdgpu-install_5.3.50300-1_all.deb
とします（ドライバのバージョンは 5.3 にする）。これをしないと次の dkms でつまづきます。
Docker の最新版を入れたいときは下記
amdgpu-dkms のビルドに失敗しておかしくなったときは下記
どうしてもうまくいかないときは、インストール時に dkms をインストールしない。
$ amdgpu-install --no-dkms
入れてから動かくなった場合は、remove する。
$ sudo apt remove amdgpu-dkms
ROCm-Python コンテナの起動は下記
以上で mnist は動きました。ddp も NVIDA 用のコードそのままでいけました。