ふえぇ... AMD GPU で Stable diffusion 計算代行してがっぽがっぽしたいよぉ...
情報
環境
- Ubuntu 22.04(20.04 推奨)
- RX6800(RDNA2) 16GB
- Docker で ROCm 実行
手元ですぐに試せる環境が Ubuntu 22.04 のみで, 22.04 は ROCm 正式対応していないため,
を参考にして無理やりインストールしました!
(20.04 環境がある方は 20.04 使ったほうがいいです)
ROCm pytorch
オフィシャル? からだと ROCm 5.1.1 なのと, セットアップ容易 + ROCm 最新 5.2.3 を使うため docker を使います.
から適したのを取得します.
執筆時点では rocm/pytorch:rocm5.2.3_ubuntu20.04_py3.7_pytorch_1.12.1 が最適でした.
実行
ROCm(amdgpu)自体, Ubuntu 20.04 以降であれば video group(render も?) があれば usespace で動かせます.
(このあたり細かいところのセキュリティはディストリビューションによると思われる)
また, 最近では sudo などつけなくても user space で docker 動かし GPU アクセスできます.
ROCm 使うには /dev/kfd, /dev/dri が見えている必要があるため, --device でコンテナ内で見れるようにします.
--security-opt seccomp=unconfined は無くても大丈夫そう.
(ROCm で Stable diffusion 計算代行など, GPU 計算をインターネット越しで提供する場合は適切に設定するのが推奨と思われる: https://www.creationline.com/lab/46861)
--privileged(特権モード)は deprecated になったようでつけなくてよいです.
--group-add で video group にユーザを追加しないといけません.
docker run --name pytorch_rocm -it --rm --device=/dev/kfd --device=/dev/dri --group-add video rocm/pytorch:rocm5.2.3_ubuntu20.04_py3.7_pytorch_1.12.1
で Docker 起動し,
import torch
torch.cuda.is_available()
で pytorch の import と, cuda(ROCm GPU)使えるか確認しておきます.
あとは
あたりを参考にして動かせばいけます!
Voila!
(X11 とか volume 共有していなかったのでとりあえず imcat https://github.com/stolk/imcat で terminal で表示)
実行時間は推論だからか reddit にあるように CUDA と遜色ない速度で処理できている感がありました.
解像度
RX6800 16GB で,
- 768x768 いけました.
768x1024 などは CUDA と同様にメモリ不足で実行できずになりました. そもそも学習が 512x512 なので解像度たかくしてもうまくいかない. SD 2.0 や upscalar を使いましょう.
Stable diffison 2.0
2.0 も動きました 
こちらのメモリ削減版を使い
768x768 で memory usagge 33% (~5.5 GB)
で行けました. GPU メモリ 8GB でもいけるやも.
TODO
-
pip install あたりのセットアップの履歴を docker イメージに残す(https://github.com/l1na-forever/stable-diffusion-rocm-docker 当たり参考に
Dockerfile作らないとダメかしらん) - 学習もさせてみる(以前(昨年あたり)は pytorch rocm とりあえず動くものの, おそすぎたり計算 nan でたりとダメダメでしたが, 一応 Pytorch ROCm は
beta取れているのでいまはきちんと動きそう?)- finetune は Dreambooth でできるのを確認ずみ
- AMD GPU たくさん並べて Stable diffusion 計算代行でがっぽがっぽするスキームを確立する(GeForce では EULA で商用ホスティングサービス提供が禁止されているので計算代行は EULA に抵触する可能性があるため)