プロンプトがどれだけ正確に反映されるのかを様々な画像生成AIで比較してみた（Stable Diffusion 3.5、FLUX1.1、Imagen 3、DALL·E 3、Adobe Firefly）

Posted at 2024-10-27

Supershipの名畑です。「週刊少年ジャンプ史上最も重要なマンガ20選」から始まった、最近はてな匿名ダイアリーで盛り上がっている「史上最も重要なマンガ◯選」シリーズが大好きです。

はじめに

先日、Stability AIがStable Diffusion 3.5をリリースしました。

Stable Diffusion 3.5 をご紹介します。このオープンリリースには、Stable Diffusion 3.5 Large や Stable Diffusion 3.5 Large Turbo など、複数のモデルのバリエーションが含まれています。さらに、Stable Diffusion 3.5 Medium は10月29日 (EU/US時間)にリリースされる予定です。

参考：Stable Diffusion 3.5 のご紹介 — Stability AI Japan

こちらのお知らせの中に「我々の分析では、Stable Diffusion 3.5 Large はプロンプト順守において市場をリード」という記載がありましたので、プロンプトの反映度合いにおいて各社でどれだけの差があるのかを比較してみたというのが今回の記事となります。

判断は主観だらけです。
単純に書いたプロンプトでは思い通りの生成結果が得られないということの参考程度でお楽しみください。

今回対象とする生成AI

Stable Diffusion 3.5 Large by Stability AI
FLUX1.1 [pro] by Black Forest Labs
Imagen 3 by Google
DALL·E 3 by OpenAI
Adobe Firefly by Adobe

原則として試行回数は各プロンプトにおいて各1回です。複数画像が同時に生成される場合は「左上」を選んでいます。

Stable Diffusion 3.5 Large と FLUX1.1 [pro] はWeb API経由での生成です。その他はブラウザ上での生成となります。Imagen 3であればImageFX、DALL·E 3であればChatGPT。

FireflyについてはFirefly Image 3を用いており、高速モードはOFFとして、生成後にアップスケールをしています。そのため、Fireflyだけは生成画像が2048x2048です。他は1024x1024です。

FLUX1.1 [pro] での生成に用いたコードは過去記事「Stable Diffusionのオリジナル開発陣による画像生成AIモデル最新版FLUX 1.1 [pro]のWeb APIを呼んでいくつかの画像を生成してみた」を使用しています。サイズのみ1024x1024に変更しました。

Stable Diffusion 3.5 Largeでの生成に用いたコードは以下です。Pythonです。STABILITY_API_KEYは環境変数に保存されたAPI Keyです。詳しくはAPI Referenceをご覧ください。

import os
import requests
import time

api_host = os.getenv('API_HOST', 'https://api.stability.ai')
api_key = os.getenv("STABILITY_API_KEY")
prompt = "ここにプロンプトを記述する"

# API Keyの取得確認
if api_key is None:
    raise Exception("Missing Stability API key.")

# API呼び出し
response = requests.post(
    f"{api_host}/v2beta/stable-image/generate/sd3",
    headers={
        "Accept": "image/*",
        "Authorization": f"Bearer {api_key}"
    },
    files={"none": ''},
    data={
        "prompt": prompt,
        "output_format": "png",
        "model": "sd3.5-large"
    },
)

# 画像保存。ファイル名にはタイムスタンプを含めています
if response.status_code == 200:
    with open(f"./{int(time.time())}.png", "wb") as file:
        file.write(response.content)
else:
    raise Exception(str(response.json()))

では、以下、結果となります。

No.1 - 1本のバナナ

1本のバナナ問題というものがあります。

「写真の中に写るバナナは2本である」というバイアスは、AIが持つ小さなバイアスの一例である、とフック氏。Midjourneyなどの画像生成AIが学習するために用いるデータセットにはバナナが写った画像が含まれ、そこには「バナナ」とラベル付けされています。しかし、たとえ「バナナ」とラベル付けされていても、「○本のバナナ」とはラベル付けされていない可能性が高く、バナナを見たことがないMidjourneyがバナナの姿形を学習しても、バナナの本数は学習できないことになります。

参考：ジェネレーティブAIが抱える問題を浮き彫りにする「1本のバナナ問題」とは？ - GIGAZINE

最近だとストロベリー問題も話題になりました。

ということでまずは、以下のプロンプトで比較してみました。

プロンプト

There is a single banana on the table.There is a single banana hanging from the ceiling.There is a single banana placed on the chair.There is a man with a single banana on his head.There is a woman washing a single banana.

プロンプト(日本語訳)

テーブルの上に1本のバナナがある。天井から1本のバナナがぶら下がっている。椅子の上に1本のバナナが置かれている。1本のバナナを頭に乗せた男性がいる。1本のバナナを洗っている女性がいる。

Stable Diffusion 3.5 Large

FLUX1.1 [pro]

Imagen 3

DALL·E 3

Adobe Firefly

一言

全部ダメですね。

プロンプトが悪すぎましたか。

なんかごめんなさい。

SD 3.5 Large	FLUX1.1 [pro]	Imagen 3	DALL·E 3	Firefly
×	×	×	×	×