Google ColabでStable-Diffusion-webUIが使いづらくなってしまっていよいよPCを買わねばなるまいか・・・と思っていたところ、Modalというのがいいらしいよ・・・という噂をきいて試してみました。

しーぴーさん：
【無料】GPUがなくてもStable Diffusionで遊びたい！
https://zenn.dev/cp20/articles/stable-diffusion-webui-with-modal

箱庭のボブさん：
Modalを使ってStable Diffusion web UI +ControlNetで遊ぶ
https://note.com/light_impala137/n/n99b014389a69

お二人の記事を参考に、使えるようになりました。ありがとうございます！

しーぴーさん、箱庭のボブさんのコードを踏襲しつつ、一度ダウンロードしたモデルはダウンロードしないように変更を加えましたので取り急ぎご紹介です。
より良い方法があればぜひ教えてください〜

以下のコードを[stable-diffusion-webui_controlNet-aria2.py]として保存します。

stable-diffusion-webui_controlNet-aria2.py

from colorama import Fore
from pathlib import Path

import modal
import shutil
import subprocess
import sys
import shlex
import os

# modal系の変数の定義
stub = modal.Stub("stable-diffusion-webui")
volume_main = modal.SharedVolume().persist("stable-diffusion-webui-main")

# パスの定義
webui_dir = "/content/stable-diffusion-webui"
webui_model_dir = webui_dir + "/models/Stable-diffusion/"

# ControlNetのパスを定義
webui_controlNet_dir = webui_dir + "/extensions/sd-webui-controlnet"
webui_controlNet_model_dir = webui_dir + "/extensions/sd-webui-controlnet/models/"

# モデルのID
model_ids = [
    {
        "repo_id": "hakurei/waifu-diffusion-v1-4",
        "model_path": "wd-1-4-anime_e1.ckpt",
        "config_file_path": "wd-1-4-anime_e1.yaml",
    },
 ]

@stub.function(

    image=modal.Image.from_dockerhub("python:3.10-slim")
    .apt_install(
        "git", "libgl1-mesa-dev", "libglib2.0-0", "libsm6", "libxrender1", "libxext6", "gcc", "libcairo2-dev", "aria2",
    )
    .run_commands(
        "pip install -U -e git+https://github.com/CompVis/taming-transformers.git@master#egg=taming-transformers"
        
    )
    .pip_install(
        "blendmodes==2022",
        "transformers==4.25.1",
        "accelerate==0.12.0",
        "basicsr==1.4.2",
        "gfpgan==1.3.8",
        "gradio==3.16.2",
        "numpy==1.23.3",
        "Pillow==9.4.0",
        "realesrgan==0.3.0",
        "torch",
        "omegaconf==2.2.3",
        "pytorch_lightning==1.7.6",
        "scikit-image==0.19.2",
        "fonts",
        "font-roboto",
        "timm==0.6.7",
        "piexif==1.1.3",
        "einops==0.4.1",
        "jsonmerge==1.8.0",
        "clean-fid==0.1.29",
        "resize-right==0.0.2",
        "torchdiffeq==0.2.3",
        "kornia==0.6.7",
        "lark==1.1.2",
        "inflection==0.5.1",
        "GitPython==3.1.27",
        "torchsde==0.2.5",
        "safetensors==0.2.7",
        "httpcore<=0.15",
        "tensorboard==2.9.1",
        "taming-transformers==0.0.1",
        "clip",
        "xformers",
        "test-tube",
        "diffusers",
        "invisible-watermark",
        "pyngrok",
        "xformers==0.0.16rc425",
        "gdown",
        "huggingface_hub",
        "colorama",
    )
    .pip_install("git+https://github.com/mlfoundations/open_clip.git@bb6e834e9c70d9c27d0dc3ecedeebeaeb1ffad6b"),
    secret=modal.Secret.from_name("my-huggingface-secret"),
    shared_volumes={webui_dir: volume_main},
    
    #ここでGPUを指定
    gpu="a10g",
    # gpu=modal.gpu.A10G(count=2),
    # gpu=modal.gpu.T4(count=2),
    timeout=6000,
)
async def run_stable_diffusion_webui():
    print(Fore.CYAN + "\n---------- セットアップ開始 ----------\n")

    webui_dir_path = Path(webui_model_dir)
    if not webui_dir_path.exists():
        
        subprocess.run(f"git clone -b v2.1 https://github.com/camenduru/stable-diffusion-webui {webui_dir}", shell=True)

    #controlNetをgit clone
    controlNet_dir_path = Path(webui_controlNet_dir)
    if not controlNet_dir_path.exists():
        subprocess.run(f"git clone https://github.com/Mikubill/sd-webui-controlnet {webui_controlNet_dir}", shell=True)

    def download_hf_file(repo_id, filename):
        from huggingface_hub import hf_hub_download

        download_dir = hf_hub_download(repo_id=repo_id, filename=filename)
        return download_dir

    for model_id in model_ids:
        print(Fore.GREEN + model_id["repo_id"] + "のセットアップを開始します...")

        if not Path(webui_model_dir + model_id["model_path"]).exists():
            model_downloaded_dir = download_hf_file(
                model_id["repo_id"],
                model_id["model_path"],
            )
            shutil.copy(model_downloaded_dir, webui_model_dir + os.path.basename(model_id["model_path"]))

        if "config_file_path" not in model_id:
          continue

        if not Path(webui_model_dir + model_id["config_file_path"]).exists():
            config_downloaded_dir = download_hf_file(
                model_id["repo_id"], model_id["config_file_path"]
            )
            shutil.copy(config_downloaded_dir, webui_model_dir + os.path.basename(model_id["config_file_path"]))

        print(Fore.GREEN + model_id["repo_id"] + "のセットアップが完了しました！")

    controlNet_files = [
        "control_v11e_sd15_ip2p_fp16.safetensors",
        "control_v11e_sd15_shuffle_fp16.safetensors",
        "control_v11p_sd15_canny_fp16.safetensors",
        "control_v11f1p_sd15_depth_fp16.safetensors",
        "control_v11p_sd15_inpaint_fp16.safetensors",
        "control_v11p_sd15_lineart_fp16.safetensors",
        "control_v11p_sd15_mlsd_fp16.safetensors",
        "control_v11p_sd15_normalbae_fp16.safetensors",
        "control_v11p_sd15_openpose_fp16.safetensors",
        "control_v11p_sd15_scribble_fp16.safetensors",
        "control_v11p_sd15_seg_fp16.safetensors",
        "control_v11p_sd15_softedge_fp16.safetensors",
        "control_v11p_sd15s2_lineart_anime_fp16.safetensors",
        "control_v11f1e_sd15_tile_fp16.safetensors",
        "control_v11e_sd15_ip2p_fp16.yaml",
        "control_v11e_sd15_shuffle_fp16.yaml",
        "control_v11p_sd15_canny_fp16.yaml",
        "control_v11f1p_sd15_depth_fp16.yaml",
        "control_v11p_sd15_inpaint_fp16.yaml",
        "control_v11p_sd15_lineart_fp16.yaml",
        "control_v11p_sd15_mlsd_fp16.yaml",
        "control_v11p_sd15_normalbae_fp16.yaml",
        "control_v11p_sd15_openpose_fp16.yaml",
        "control_v11p_sd15_scribble_fp16.yaml",
        "control_v11p_sd15_seg_fp16.yaml",
        "control_v11p_sd15_softedge_fp16.yaml",
        "control_v11p_sd15s2_lineart_anime_fp16.yaml",
        "control_v11f1e_sd15_tile_fp16.yaml",
        "t2iadapter_style_sd14v1.pth",
        "t2iadapter_sketch_sd14v1.pth",
        "t2iadapter_seg_sd14v1.pth",
        "t2iadapter_openpose_sd14v1.pth",
        "t2iadapter_keypose_sd14v1.pth",
        "t2iadapter_depth_sd14v1.pth",
        "t2iadapter_color_sd14v1.pth",
        "t2iadapter_canny_sd14v1.pth",
        "t2iadapter_canny_sd15v2.pth",
        "t2iadapter_depth_sd15v2.pth",
        "t2iadapter_sketch_sd15v2.pth",
        "t2iadapter_zoedepth_sd15v1.pth"
    ]

    for file_name in controlNet_files:
        if not Path(webui_controlNet_model_dir + file_name).exists():
            if file_name.endswith('.pth') or file_name.endswith('.safetensors'):
                controlNet_url = "https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/" + file_name
            elif file_name.endswith('.yaml'):
                controlNet_url = "https://huggingface.co/ckpt/ControlNet-v1-1/raw/main/" + file_name
            subprocess.run(["aria2c", "--console-log-level=error", "-c", "-x", "16", "-s", "16", "-k", "1M", controlNet_url, "-d", webui_controlNet_model_dir, "-o", file_name])

        if not Path(webui_model_dir + "BloodNightOrangeMix.vae.pt").exists():
            vae_url = "https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/VAEs/orangemix.vae.pt"
            subprocess.run(["aria2c", "--console-log-level=error", "-c", "-x", "16", "-s", "16", "-k", "1M", vae_url, "-d", webui_model_dir, "-o", "BloodNightOrangeMix.vae.pt"])

    print(Fore.CYAN + "\n---------- セットアップ完了 ----------\n")

    # WebUIを起動
    sys.path.append(webui_dir)
    sys.argv += shlex.split("--skip-install --xformers")
    os.chdir(webui_dir)
    from launch import start, prepare_environment

    prepare_environment()
    # 拡張機能が使えるように--enable-insecure-extension-accessを追加
    sys.argv = shlex.split("--a --gradio-debug --share --xformers --enable-insecure-extension-access")
    start()
    
    
@stub.local_entrypoint()
def main():
    run_stable_diffusion_webui.call()

modal run stable-diffusion-webui_controlNet-aria2.py
とすると、しばらくしてwebuiのurlが表示されます。

Running on local URL:  http://127.0.0.1:7860
Running on public URL: https://xxxxxxxx-xxxx-xxxx.gradio.live

public URLのほうにブラウザでアクセスすると、見慣れたStable-diffusion-webUIが表示されます！

Modal環境へのファイル転送

Modal環境へのファイル（Loraや、モデルなど）転送は、以下のコマンドで実行できます。

modal volume put <ボリューム名> <ローカルディレクトリ> <リモートディレクトリ>
[stable-diffusion-webui_controlNet-aria2.py]では、<ボリューム名>は、[stable-diffusion-webui-main]です。

例：

$ modal volume put stable-diffusion-webui-main lora /models/Lora

ファイルを送る際には、リモートディレクトリの後に[/]をつけます。
例：

$ modal volume put stable-diffusion-webui-main /Users/mydir/lora.safetensors /models/Lora/

$ modal volume put stable-diffusion-webui-main /Users/mydir/breakdomainrealistic_R2333.safetensors /models/Stable-diffusion/

$ modal volume put stable-diffusion-webui-main /Users/mydir/badhandv4.pt /embeddings/

転送が完了すると、WebUIから認識できるようになります。