「オリジナルのジェットコースター」の画像をSketch to imageでAI生成してみた #Python

Supershipの名畑です。今剣への想いをありったけ込めてすえひろがりの完走を応援しています。

はじめに

前回「「食パンをくわえて走る女子高生」のイラストをSketch to imageでAI生成してみた」という記事を書きました。Stable Diffusionの提供元stability.aiによる画像編集ツールClipDropが提供するSketch to image(落書きを元にして高品質画像を生成するツール)のAPIを使ってみたという記事です。

そこでも触れたように、生成された結果に全く納得がいかなかったので、別の挑戦をしてみることにしました。

今回は「オリジナルのジェットコースター」のAI生成に挑戦してみます。

「食パンをくわえて走る女子高生」を現実に見たことはないですが「ジェットコースター」であれば何度も見てきました。つい先日もジェットコースターを見て、それで、生成してみたいなと思いました。

Sketch to image未使用

まずは前回同様、参考までに、Sketch to imageを使わずに生成してみました。
過去記事「Stable Diffusionの最新モデル「SDXL 1.0」と過去モデルの生成画像をひたすら比較して進化を実感してみた」のコードを元にしています。stability.aiのAPIを呼び出しています。

import base64
import os
import requests
import time

engine_id = "stable-diffusion-xl-1024-v1-0"  # SDXL 1.0

api_host = os.getenv('API_HOST', 'https://api.stability.ai')
api_key = os.getenv("STABILITY_API_KEY")

# API Keyの取得確認
if api_key is None:
    raise Exception("Missing Stability API key.")

# API呼び出し
response = requests.post(
    f"{api_host}/v1/generation/{engine_id}/text-to-image",
    headers={
        "Content-Type": "application/json",
        "Accept": "application/json",
        "Authorization": f"Bearer {api_key}"
    },
    json={
        "Samples": 3,
        "text_prompts": [
            {
                "text": "roller coaster"
            }
        ],
    },
)

# レスポンス確認
if response.status_code != 200:
    raise Exception("Non-200 response: " + str(response.text))

# レスポンス取得
data = response.json()

# 画像保存
# ファイル名にはタイムスタンプとengine_id、通番を含めています
# 通番は0〜samplesの値 - 1
for i, image in enumerate(data["artifacts"]):
    with open(f"./{engine_id}_{int(time.time())}_{i}.png", "wb") as f:
        f.write(base64.b64decode(image["base64"]))

roller coaster

というシンプルなプロンプトで生成した結果が下記です。ジェットコースターは和製英語らしい。

色々とツッコミどころはあるというか、そもそもまともに動きそうもないですが、まあ、ジェットコースターですね。

Sketch to imageを使用

はい、ここからが本題です。
Sketch to imageを使った場合の結果です。
基本のコードは前回の記事「「食パンをくわえて走る女子高生」のイラストをSketch to imageでAI生成してみた」と同様です。

import requests
import os
import time

r = requests.post('https://clipdrop-api.co/sketch-to-image/v1/sketch-to-image',
                  files={
                      'sketch_file': ('original_image.png', open("./original_image.png", "rb"), 'image/png'),
                  },
                  data={'prompt': 'roller coaster'},
                  headers={'x-api-key': os.getenv("CLIPDROP_API_KEY")}
                  )

if r.ok:
    with open(f"./generated_image_{int(time.time())}.jpg", "wb") as f:
        f.write(r.content)
else:
    r.raise_for_status()