diffusersの不具合が次のリリースで解消するか検証しました。
有志の方が修正してくれたものの、メインブランチにマージされていないようだったので、マージ元のものをチェックアウトします。
#git clone https://github.com/huggingface/diffusers.git
git clone https://github.com/hadaev8/diffusers.git
cd diffusers
git fetch
git checkout fix-negative-promt
pip install .
問題なさそうなので、あとは正式リリース待ち。