Stable Diffusionは仕事場みたいな感じ。
後述するけどモデル(check point)はイラストレーターさん、LoRAは描いてほしいキャラクター、VAEは仕上げ道具みたいなもんかな。
Stable Diffusionにはいろいろある
Stable Diffusionは2022年に初めて公開されたのがバージョン1系らしい。
そこから改良が加わって色々派生してるみたいだよ。
バージョン
1系（1.4/1.5）
詳細は下記に記載するけど、1系は生成できる解像度が小さくて、解釈できるパラメータも少なくて、今では使う必要性を感じないかな。
Stable Diffusion 1.4
2022年8月に公開。約9億パラメータを解釈できる。生成できる解像度は512×512。
初期公開モデル。軽量かつ汎用性が高いんだって。
Stable Diffusion 1.5
2022年10月に公開。約9億パラメータを解釈できる。生成できる解像度は512×512。
1.4を改良し、出力の鮮明さ・安定性を向上したらしい。
2系（2.0/2.1）
1系よりも一回り大きな解像度で生成できるようになったよ。
解釈できるパラメータもちょっと増えた感じ。
この後の改良がすごいんだけどNSFWを緩和した事が起爆剤になったんじゃないかな。
Stable Diffusion 2.0
2022年11月に公開。約10億パラメータを解釈できる。生成できる解像度は768×768。
新テキストエンコーダ採用、解像度拡張。アダルト画像フィルター強化。
Stable Diffusion 2.1
2022年12月に公開。約10億パラメータを解釈できる。生成できる解像度は768×768。
2.0のマイナーアップデート。NSFWフィルタを緩和。たぶんこれが起爆剤。
XL系（SDXL、SDXL Turbo）
パラメータ数が3倍以上に増えて解像度も一回り大きくなった。
いいパソコンを持ってる人なら参入しやすくなったみたい。
Stable Diffusion XL
2023年7月に公開。約35億パラメータを解釈できる。生成できる解像度は1024×1024。
解像度や手・文字の精度を大幅向上。GPU要件が高い。
Stable Diffusion XL Turbo
2023年11月に公開。解釈できるパラメータは非公開。生成できる解像度は512×512。
SDXLの蒸留版。少ない拡散ステップで高速生成。
3.0系
Stable Diffusion 3.0
2024年2月に公開。8億〜80億パラメータを解釈できる。生成できる解像度は1024×1024。
Diffusion Transformerを採用して文字生成能力が向上したっぽい。
Stable Diffusion 3.5 Large
2024年10月に公開。80億パラメータを解釈できる。生成できる解像度は1メガpx。
高品質・高適応性だからプロフェッショナル用途向けなんだって。
Stable Diffusion 3.5 Large Turbo
2024年10月に公開。解釈できるパラメータは非公開。生成できる解像度は1メガpx。
3.5 Largeの蒸留版で、高速画像生成が可能になったみたい。
Stable Diffusion 3.5 Medium
2024年10月に公開。25億パラメータを解釈できる。生成できる解像度は0.25〜2メガpx。
MMDiT-Xアーキテクチャを採用して一般消費者向けにハードウェア対応したらしいよ。
WebUI
Stable Diffusionは本来コマンドライン（CUI/CLI）で動かすプログラムなんだって。
でも当然GUIの方が扱いやすい気がするよね。
だから画面操作ができるWebUIやクラウドサービスを使う機会が多いんだってさ。
Automatic1111
黎明期から存在する最もスタンダードで普及しているWebUI。
拡張機能が豊富で、ControlNetやLoRAの管理など最初から対応しているんだってさ。
安定性と情報の多さを重視し、まずは標準的な環境で色々な機能試したいならこれ。
Forge Classic
Automatic1111のUIや拡張機能の互換性を維持したまま、バックエンドのメモリ管理と推論処理を大規模に最適化した派生版。
Automatic1111の操作感を変えたくないけれど、VRAMの節約や生成速度の大幅な向上を求めたい人はこれ。
でも、もうForge Neoへ移行した方がいいみたい。
Forge Neo
Forgeのコンセプトをさらに推し進めて最新のモデル構造や多様なアーキテクチャ（SDXLやFluxなど）への適応、コードベースの近代化を進めた次世代型。
最新モデルを効率的に動かしたいならこれ。
ComfyUI
ノードベース（フローチャート形式）で処理をカスタマイズできる。
メモリ効率が高く、複雑なワークフロー（ControlNetの多重がけ、IP-Adapter、Detailerの自動化など）を処理できる。
生成プロセスの仕組みを理解したい、自分だけのワークフローを構築したいならこれ。
うーん。個人的に今回はForge Neoがいいかな。
実はAutomatic1111も使った事があるんだけど、Forge Neoの方が処理時間が半減どころか8割くらい減ってる気がするんだよね。
モデル(check point)
Stable Diffusionは仕事場ならモデル(check point)はイラストレーターさん。
イラストレーターさんは各々別人だから考え方も描き方も違うからね。
後述するLoRAはイラストレーターさんに描いてほしいキャラクターみたいなもんかな。
モデル(check point)は沢山の種類があるんだけど、大まかにこんなカテゴリがあるみたい。
Stable Diffusion 1.5 (SD 1.5)
解像度は512x512と小さいけど、LoRAやControlNet、Embeddingなどの拡張資産が豊富。
Stable Diffusion XL (SDXL)
生成解像度が1024x1024になり、人物のディテール、質感、プロンプトの追従性が大幅に向上。
Flux (Flux.1)
プロンプトの理解力が高く、苦手とされていた人間の手や「画像内の文字（タイポグラフィ）」をそれっぽく描画できるようになった。
Pony (Pony Diffusion系)
SDXLベースで二次元イラストやアニメ調の表現に特化して追加学習が行われた系統。
画面の構図やキャラクターのポーズを制御するために、プロンプトにscore_9, score_8_upなどを入れる文化がある。
Illustrious (Illustrious-XL / IL系)
SDXLベースのイラスト特化モデルで、Pony系と並ぶ二次元・アニメ系生成の主流派閥。
Danbooruなどのタグ構造をベースにしており、自然言語よりもタグ指定で思い通りのイラストを出しやすい。
Anima (Anima / Anima Pencil系)
アニメ調や独特のタッチ（線画や鉛筆画風のニュアンスなど）の表現に強みを持つイラスト系モデルの系統。
特定のアーティスト風のスタイルや繊細なタッチを再現したいときに好まれる。
| カテゴリ名 | ベース技術 | 得意なジャンル・用途 | 最大のメリット |
|---|---|---|---|
| SD 1.5 | SD 1.5 | オールジャンル | 拡張機能やLoRAなどの資産が世界一豊富 |
| SDXL | SDXL | オールジャンル | 標準的な高解像度と汎用性の高さ |
| Flux | 独自 (Flow Matching) | 写真、写実、文字入れ、高精度イラスト | プロンプト理解力と文字・手の描画が段違い |
| Pony | SDXLベース | アニメ、二次元、複雑な構図 | タグによる強力な構図・ポーズ制御 |
| Illustrious | SDXLベース | アニメ、二次元イラスト | 高い表現力と安定したイラスト生成 |
| Anima | SDXL/独自系 | イラスト、ペン画・アニメ風 | 独特なタッチや繊細な表現力 |
Animaモデルは、従来のSD 1.5やSDXLとは仕組みが異なるため、本家のAutomatic1111や一般的なForge Classicでは読み込んでエラーになるみたい。
- Automatic1111 / Forge Classic: 基本的に非対応（そのままではロードできない）
- Forge Neo: 対応している（Forge系の最新アーキテクチャを取り入れているため動かせる）
- ComfyUI: 専用のワークフローやノードを組むことで対応可能
Anima系を使いたい場合はForge Neoへ乗り換えるかComfyUIを使う必要があるっぽい。
LoRA
Stable Diffusionが仕事場で、モデル(check point)がイラストレーターさんなら、LoRAはイラストレーターさんに描いてほしいキャラクター。
同じキャラクターでもイラストレーターさんの画風で結果が変わるよね。
LoRAはモデル(check point)との相性があって、相性が悪いと上手く描けないみたい。
イラストレーターさんによって描けない（描きたくない）絵がある……みたいな感じかな。
Ponyに向いてるLoRAはPonyでは上手く描けるけど、SD 1.5では崩れちゃう。
Illustriousに向いてるLoRAはAnimaでは崩れちゃう……みたいな感じ。
ちなみにLoRAがなくても仕事場(Stable Diffusion)でイラストレーターさん(check point)に描いて貰う事はできるみたい。
その場合は手癖で描く事になるっぽい。
LoRAがあれば「この資料みてキャラクター描いて欲しい」って要望できるんだね。
LoRAを組み合わせる事も可能で「このキャラとあのキャラの特徴を半分ずつ合わせて描いて欲しい」って要望もできるみたい。
LoRAカテゴリ
LoRAにも、何を追加学習させたかによって明確なカテゴリ（種類）があるみたい。
キャラクターLoRA
特定の人物、アニメやゲームのキャラクターを再現するためのもの。
髪型、顔立ち、服装の特徴などがまるっと学習されていて、プロンプトで呼び出すだけで同じキャラを安定して生成できるようになるんだってさ。
スタイル（画風）LoRA
特定のアーティストのタッチや、アニメ風、水彩画風、サイバーパンク風、特定のカメラマンが撮ったような写真の質感などを全体に適用するもの。
描く被写体は変えずに、絵のタッチを変えたいときに使うみたい。
衣装・服装（Clothing）LoRA
フリルの多いドレス、特定の制服、メカスーツ、普段着など、特定のコスチュームを被写体に着せるためのもの。
プロンプトだけだと再現しにくい複雑なデザインの服を着せたいときに重宝するらしい。
ポーズ・構図（Pose / Concept）LoRA
「お姫様抱っこ」や「特定の構図、アングル、手の形」など、キャラクターの姿勢やカメラワークを固定するためのもの。
ControlNetと似た役割だけど、LoRAの手軽さでポーズを覚えさせたいときに使われる。
コンセプト・オブジェクトLoRA
特定のアイテム（車、家具、武器など）や、特定のシチュエーション・概念を出現させるもの。
品質・ディテール改善系LoRA
手の崩れを防ぐ」「瞳の輝きや全体のディテールをシャープにする」といった、画像全体のクオリティやリアリティを底上げするための補助的なLoRA。
VAE
VAE（Variational Auto-Encoder / 変分自己符号化器）は、画像生成AIの世界において、「AIが計算するコンパクトなデータ（潜在空間）」と「我々が目で見える画像（ピクセル）」を翻訳・変換する仕組みらしい。へー。よく分からんない。
ざっくり、生成された画像のボケや色味をパキッと綺麗に補正してくれる仕上げ役みたいな印象。
AIに訊いてみたらこんな回答。
データの圧縮と復元（翻訳機としての役割）
AIは画像そのままのサイズで計算すると重すぎてパンクしちゃうから、VAEを使ってデータを小さく圧縮して（潜在空間）、頭の中で計算しているよ。
計算が終わったあとに、VAEがもう一度そのデータを引き伸ばして、私たちが普段見ているきれいな画像に戻しているんだ。
画質や色味の調整
VAEを適用していない（あるいは適していない）状態だと、生成された画像全体がなんだか灰色っぽくくすんだり、ボヤけたり、肌の色が悪くなったりしやすい。
モデルに合った適切なVAEを適用することで、色が鮮やかになり、ディテールや輪郭がはっきりとクリアになるよ。
モデルごとの専用・非依存
チェックポイント（モデル）によっては、製作者が「このVAEを組み合わせて使ってね」と専用のVAEを指定していることが多いよ。
モデルとVAEの組み合わせが合っていないと、目が崩れたり変な色になったり、最悪の場合はエラーで画像が生成できなかったりするから注意が必要。
最近のモデル（Pony系やIllustrious系など）は、モデル本体にVAEが最初から内蔵されている（Baked-in）ケースも増えているよ。
ふーん。
重要な事は、VAE内臓モデル(check point)があるって事と、モデル(check point)とVAEの間には相性があるって事かな？
つまりモデル(check point)がイラストレーターさんなら、VAEは仕上げ道具みたいなもんかな。
イラストレーターさんが仕上げ道具(VAE)を持参してる事もあれば、Stable Diffusion(仕事場)に置いてある仕上げ道具から選んで使う事もあるんだけど、仕事場にある仕上げ道具はイラストレーターさんが慣れてない物がある……みたいな感じかな。
VAEカテゴリ
VAEはモデルの系統ごとに使い分ける必要があるらしい。
どうりで灰色や真っ黒な画像が生成される事があるのか。
つまり相性があるんだな。
SD 1.5系 VAE
Stable Diffusion 1.5の標準的なVAE。
デフォルトだと色味がくすむモデルに適用して発色やディテールをクリアにするために使われる。
SDXL系 VAE
SDXLベースのモデルで標準的に使われるVAE。
SDXLのデフォルト状態では出力の赤みが強すぎたり白飛びしたりすることがあるため、専用の改善版VAEに差し替えることで色調のバランスを整える。
アニメ・イラスト特化系 VAE (fp16固定版など)
二次元イラストやアニメ調のモデルに特化して調整されたVAE。
イラスト特有の線画のシャープさを保ったり、アニメ塗りの色合いを綺麗に出したりするためにカスタムされた。
モデル内蔵型 (Baked-in VAE)
チェックポイント内蔵でモダンなモデル（Pony系、Illustrious系、Fluxなど）の多くに採用されてる。
まとめ
えーっと、Stable Diffusionは仕事場。これはいいと思う。
モデル(check point)はイラストレーターさん。
LoRAは描いてほしいキャラクター。
VAEは仕上げ道具。
描いて貰うには相性が重要なんだね。
イラストレーターさん(check point)とLoRAの間に相性がある。
イラストレーターさん(check point)と仕上げ道具(VAE)の間にも相性がある。
LoRAやVAEをダウンロードする際にどのモデル(check point)と相性が良いのかを確かめた方が良さそうだね。