「8ステップでここまで!? Colabで試すHyper-SD高速ポートレート生成」

Posted at 2025-08-14

Hyper-SDとは

「Hyper-SD」はByteDanceが公開した、高速かつ高品質な画像生成を可能にするLoRAです。通常のStable Diffusionでは20〜30ステップ必要なクオリティを、わずか8ステップ前後で近い品質に近づけられるのが特徴です。
今回はSD1.5ベース + Hyper-SD CFG版LoRAをColabで動かし、実際に画像を作ってみました。

実際に使ってみた

1 依存関係インストール

!pip -q install --upgrade diffusers transformers accelerate safetensors torch torchvision

2 モデル読み込み（SDXL + Hyper-SD “CFG版” LoRA）

import torch
from diffusers import AutoPipelineForText2Image

# ベースモデル（SDXL）
base_model = "stabilityai/stable-diffusion-xl-base-1.0"

# Hyper-SD リポジトリ（LoRA格納先）
hyper_repo = "ByteDance/Hyper-SD"

# ★ファイル名はHFページの表示そのまま（例：CFG保存版 8step）
weight_name = "Hyper-SDXL-8steps-CFG-lora.safetensors"  # ←ここはHFの実ファイル名に合わせる

pipe = AutoPipelineForText2Image.from_pretrained(
    base_model, torch_dtype=torch.float16, variant="fp16"
).to("cuda")

# LoRAを読み込み→fuse（推奨LoRAスケールはおおむね 0.125 前後）
pipe.load_lora_weights(hyper_repo, weight_name=weight_name)
pipe.fuse_lora(lora_scale=0.125)

prompt = "a cozy isometric room, soft lighting, highly detailed, pastel colors"
image = pipe(
    prompt,
    num_inference_steps=8,   # Hyperの見せ場：少ステップ
    guidance_scale=3.5,      # SDXLの目安。必要に応じて3.0〜4.5で調整
    height=768, width=768,
    generator=torch.Generator(device="cuda").manual_seed(42),
).images[0]

image.save("hyper_sdxl_sample.png")
"Done: hyper_sdxl_sample.png"

3 SD1.5 で試す場合

import torch
from diffusers import AutoPipelineForText2Image

base_model = "runwayml/stable-diffusion-v1-5"
hyper_repo = "ByteDance/Hyper-SD"
weight_name = "Hyper-SD15-8steps-CFG-lora.safetensors"  # HFの実ファイル名をそのまま

pipe = AutoPipelineForText2Image.from_pretrained(
    base_model, torch_dtype=torch.float16
).to("cuda")

pipe.load_lora_weights(hyper_repo, weight_name=weight_name)
pipe.fuse_lora(lora_scale=0.125)

prompt = "cinematic portrait, shallow depth of field, 35mm photography, ultra-detailed"
image = pipe(
    prompt,
    num_inference_steps=8,
    guidance_scale=5.0,   # SD1.5は 5〜7 目安（好みに応じて）
    height=512, width=512,
    generator=torch.Generator(device="cuda").manual_seed(1),
).images[0]

image.save("hyper_sd15_sample.png")
"Done: hyper_sd15_sample.png"

4 HFでLoRAの正確なファイル名を取得（ミス防止）
「weight_name はHFページの表示そのまま」が鉄則。これで候補を機械的に拾えます。

!pip -q install -U huggingface_hub
from huggingface_hub import list_repo_files

repo = "ByteDance/Hyper-SD"
files = list_repo_files(repo)
# SD1.5・8step・CFG版あたりを探す（必要ならフィルタ文字列を変えてOK）
[c for c in files if "SD15" in c and "8steps" in c and "CFG" in c and c.endswith(".safetensors")]

5 生成セル（SD1.5 + Hyper-SD “CFG版”）
解像度は最初 512×512 で様子見、慣れたら上げるのがおすすめ。

import torch
from diffusers import AutoPipelineForText2Image

base_model = "runwayml/stable-diffusion-v1-5"
hyper_repo = "ByteDance/Hyper-SD"

# ↑セル1の出力から正確にコピペ（例）
weight_name = "Hyper-SD15-8steps-CFG-lora.safetensors"

pipe = AutoPipelineForText2Image.from_pretrained(
    base_model, torch_dtype=torch.float16
).to("cuda")

pipe.load_lora_weights(hyper_repo, weight_name=weight_name)
pipe.fuse_lora(lora_scale=0.125)   # 0.1〜0.2で微調整

prompt = "cinematic portrait, shallow depth of field, 35mm photography, ultra-detailed"
image = pipe(
    prompt,
    num_inference_steps=8,          # Hyperの見せ場
    guidance_scale=5.0,             # SD1.5は5〜7が目安
    height=512, width=512,
    generator=torch.Generator(device="cuda").manual_seed(1),
).images[0]

image.save("hyper_sd15_sample.png")
image

実際に生成された画像

使ってみて

今回生成されたのは、背景のボケ感と髪の毛のディテールがしっかり出たシネマティック風ポートレート。わずか8ステップの推論にもかかわらず、肌の質感や光の回り方がそれなりに自然で、短時間でここまで出せるのは大きな魅力だと感じました。
ただし、顔の一部でやや歪み（特に鼻や口周辺）が見られ、完全なフォトリアルではない印象です。これは低ステップ生成の宿命でもあり、ステップ数を12程度まで増やすか、LoRAスケールやガイダンススケールを微調整すると改善が期待できます。

良かった点
・生成速度の速さ
8ステップ＋512px解像度で非常に高速。ColabのT4 GPUでもほぼ待ち時間なしで結果が得られました。
・ディテール表現の保持
髪の毛や服の質感が少ステップでもそこそこ出せており、試作段階やプロンプト検証に最適。
・導入の簡単さ
Hugging FaceのLoRAファイル名をそのまま指定するだけで動作。コード量も少なく、Colab初心者でも入りやすい。

気になった点
・顔パーツの破綻が時々発生（特に真正面でない構図や複雑な光条件）。
・SD1.5モデル特有の色味の暴れが出やすい場面がある。
・ネガティブプロンプトを入れないとディテールが荒れやすい。

まとめ

Hyper-SDは、「高速生成＋ある程度の品質」を両立させたい場面に最適です。特に次のような用途で強みを発揮します。

・プロンプトA/Bテストを爆速で回す
・大量バリエーション生成→良いものだけ高ステップ仕上げ
・ライブデモやインタラクティブ生成UIの裏側処理

今回のテストでは、短時間でシネマティックな雰囲気のポートレートを生成できた一方、顔の精度を求める場合は追加調整が必要と感じました。とはいえ、試作やプロンプト検証の効率は大きく向上します。

You get articles that match your needs
You can efficiently read back useful information
You can use dark theme

What you can do with signing up

「8ステップでここまで!? Colabで試すHyper-SD高速ポートレート生成」

Hyper-SDとは

おすすめの用途

実際に使ってみた

使ってみて

まとめ