Stable Diffusionで画像を生成する

Stable Diffusionで画像を生成、その生成された画像を利用してSUZURIでTシャツを作成してみた

内容

1：Hugging Faceのトークンを発行
2：googleColaboratoryでStable Diffusionの設定
3：Stable Diffusionで画像を生成
4:生成された画像を使ってTシャツを作成する方法

1：Hugging Faceのトークンを発行

Hugging Faceのアカウントを作成してトークンの発行を行う。こちら記事を参考に登録
アクセストークンの発行が出来たら保存しておく

2：GoogleColaboratoryでStable Diffusionの設定をする

・GoogleColaboratoryでノートブックを新規作成したら、編集から「ノートブックの設定」を開く

・ハードウェアアクセラレータの欄で「GPU」を選択して「保存」で設定完了

3：Stable Diffusionで画像を生成

以下のコードで画像を作成する

pip install diffusers==0.8.0 transformers scipy ftfy
# diffusers==0.2.4だとエラー出たのでdiffusers==0.8.0に修正しエラー解消
YOUR_TOKEN="HuggingFaceで発行したトークン入力"

# パイプラインの準備
from diffusers import StableDiffusionPipeline
pipe = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v1-4", use_auth_token=YOUR_TOKEN)
# パイプラインの第1引数に指定しているのがStable Diffusionモデル本体。第２の引数にはその上で設定しているトークンを指定する
pipe.to("cuda")
# パイプラインをGPUに移す

# 画像作成の実行
prompt = "Cat in the style of Gogh"
# promptに作成したい画像のキーワードを入れる
image = pipe(prompt)["images"][0]
image.save(f"Cat_gogh.png")

これで画像生成が完了。気に入った画像が生成できたら画像を保存する
いろいろ画像つくってみた

ゴッホ風の猫

ゴッホ風の猫

カットバック決めてる猫

コロー風の猫

ゴッホ風の猫