STable Diffusionとは

非常にわかりやすい記事があるので、そちらを参照

Stable Diffusion 3 Medium

Stable Diffusion 3は、マルチモーダル拡散トランスフォーマー(MMDiT)とRectified Flowを使用した新しい画像生成モデル。Stable Diffusion 3 Mediumは、その軽量かつ無料配布版。

Stable Diffusion 3 Medium
・medium 20億パラメーター
・出力画像はデフォルトで1024×1024px

ライセンス

学術研究などの非営利目的では自由に使用でき、商用利用は別の有料ライセンスがないとできないようです。

お客様は、本ソフトウェア製品または派生物を使用して、お客様がホストするサービスの一部として、またはお客様の API を介して、第三者が本ソフトウェア製品または派生物を使用できるようにすることはできません。

使い方

ライブラリをインストールする

pip install -U diffusers
pip install -U peft

Hugging Faceでアクセストークンを取得する

Hugging Faceにログインする
下記にアクセスする
https://huggingface.co/stabilityai/stable-diffusion-3-medium
このモデルへのアクセス権を申請する
設定->アクセストークンを開く
New tokenを押す
Edit PermissionsでReposの権限を付ける

あとはアクセストークンを使用してHugging Hubへアクセスして、対象モデルを指定して使用する。

from diffusers import StableDiffusion3Pipeline
import torch
import datetime

from huggingface_hub import login
login(token='アクセストークン', add_to_git_credential=True)

pipe = StableDiffusion3Pipeline.from_pretrained("stabilityai/stable-diffusion-3-medium-diffusers", torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = 'A digital Illustration of the Babel tower, 4k, detailed, trending in artstation, fantasy vivid colors, 8k'

image = pipe(
    prompt,
    negative_prompt="",
    num_inference_steps=28,
    guidance_scale=7.0,
).images[0]
image.save('stable-diffusion_3_medium.jpg')

生成画像の例

Claude 3 Sonnetにプロンプトを作ってもらって、Stable Diffusino 3 mediumに画像生成してもらった。生成時間はNVIDIA RTX A2000 12GBを使用して、だいたい5分ほどだった。

Stunning panoramic landscape photography, sweeping vistas, majestic cliffs, ancient forests, winding rivers, HDR, exquisite colors, lifelike

'Photorealistic landscape, 4K resolution, detailed, epic mountains, lush green valleys, crystal clear lakes, dramatic lighting, cinematic atmosphere'

Ultra-realistic nature scenery, 8K, highly detailed, snow-capped mountains, misty waterfalls, vibrant wildflowers, golden hour lighting, breathtaking view

Photorealistic portrait, young Japanese woman, delicate facial features, natural makeup, detailed eyes and lips, black silky hair, soft lighting

Photorealistic render of a delicious hamburger, 8K, highly detailed, ray-traced lighting, sharp focus, juicy beef patty, melted cheese, fresh lettuce, tomatoes, detailed sesame seed bun, mouthwatering

A photorealistic image of a dog breed that looks like a calico cat, with patches of orange, black and white fur, highly detailed fur texture, realistic subsurface scattering, 8K resolution, from a front angle, studio lighting