Google Colaboratory

Colab 環境の Stable Diffusion で、日々遊んでおります。

10GB 以上のGPUをリソースとして無料で利用できるの、なんなんでしょうね。
神とまではいかないにしても、国,自治体レベルのサービス超えてきてますよね。税金払ってましたっけ？

GPU バックエンドに接続できません

ただ、がっつり遊んでいると、半日ぐらいで上のメッセージが出て、無料枠ではもう GPU 使わせないよとなります。
あなたはリソースを使いすぎてるよということだと思います。

Google はこの制限について、基準をあえて示していないみたいです。現在アクティブな利用者数、使用量など、いろいろな変数で、状況に応じて無料枠を調整しているのかなと想像できます。

で、このStableDiffusion旋風です。公式？のチュートリアルが Colab なので、当然、アクセスは増えますよねー。
先週は20時間かからずに再利用可能となったのですが、今日はそろそろ24時間過ぎたところなのですが、まだ接続できないです。。。（記事を書く原動力になっていますねw）

GPU RAM 使用率の確認方法

右上のほうにある ▼ から「リソースを表示」とすると、起動中いつも見えている「RAM」「ディスク」とは別に「GPU RAM」の利用をグラフで確認することができます。

この記事は、公式チュートリアルのコードなどをベースに、このグラフを見ながら、画像生成のコストに関わりそうなパラメータを変更し、GPU RAM どうなるの？という検証と、つたない考察をしていきます。（本職は機械学習やpythonなどあまり縁がなく、バックボーンがぺらぺらなので、間違いの指摘や、こっちのほうがいいよ！といったコメント大歓迎です。）

ちなみに、先にも述べていますが、Google は「GPU バックエンドに接続できません」処置の詳細について、基準など明確にしていません。なので、そもそも GPU RAM を節約したからといって、無料枠が有利に利用できるかどうかは全くわかりません。あしからず。

【節約術その１】RAM そのまま使いっぱなし問題

まずグラフを見ながら画像生成させると、すぐに気づくのですが、（メモリだからでしょうね、）一度画像を生成するとずっと使用率が上昇したままになります。

すぐに次の施行を流すなら問題ないような気もしますが、プロンプトを考えたり、パラメータ変更したり、いろいろやる間、ずっと使用中っぽくなるのは、あまりいいような気がしないです。

対策

以下のように、仕事の後にtorch.cuda.empty_cache()を入れると、仕事前の状態（パイプライン初期化？の状態）まで戻ります。

with autocast("cuda"):
  image = pipe(prompt)["sample"][0]
torch.cuda.empty_cache()

【節約術その２】半精度？

パイプライン初期化？のところにある２つのパラメータrevision="fp16" torch_dtype=torch.float16 と、
画像生成するときのwith autocast("cuda"):
この2か所の記述で、軽いほうのモデルを利用しますよということなのか？

いくつかのチュートリアル記事では、これらのパラメータ、コードを利用していないことがあり GPU RAM の利用量が違ってくる。
下のコードコメント部分(# の行)がない状態で動かしている場合は、適宜追加すると節約できます。（当然、精度が下がるの？なんの精度？）（調査します）

pipe = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v1-4", 
                                               # revision="fp16",
                                               # torch_dtype=torch.float16,
                                               use_auth_token=True).to("cuda")
# with autocast("cuda"):
  image = pipe(prompt)["sample"][0]

【節約術その３】複数画像生成

promptを配列で複数枚生成するより、ループで複数枚作ったほうが GPU RAM の節約になっている。

記載中ですが、時間切れのため、一度アップしてしまいます。