外部と通信せずに使える画像生成AI、Stable Diffusionをインストールした

この記事の要約

英語がわからなくてもLM Studioにプロンプトを作らせると楽。
ある画像と似た画像を作らせることもLM Studio + StableDiffusionで簡単。

モデルの追加

インストールができたら、生成したい画像に向いているモデルを追加する。
「stable diffusion モデルおすすめ景色」などで検索すると、いろいろなモデルが紹介されているサイトが見つかる。

モデルが公開されている場所としてはcivitalが有名なので、このサイトで直接探しても良い。

モデルによって商用利用など制限があるので、仕事で使うのであれば選んで使う必要があります。利用条件にご注意ください。

モデルをダウンロードしたら、Stable Diffusionをインストールした場所の「models」＞「Stable-diffusion」の中にファイルを置くだけでインストール完了になる。
ちなみに、この場所に置いたファイル名がそのまま Stable Diffusion WebUI上で表示されるので、自分でわかりやすいように名前を変えると便利かも。

（例）
D:\stable-diffusion-webui\models\Stable-diffusion

ちなみに、この記事では背景画像の生成に強いという「ARegularDeepBackground_v10」を使ってみた。
https://civitai.com/models/113262/a-regular-deep-background

プロンプトが難しい、をLM Studioで解決

Stable diffusion に限らず画像生成で難しいところは「英語で」「わかりやすく」どんな画像を生成したいか言葉を指定する必要があるところだ。
で、これからがこの記事を書きたかった動機。

このプロンプトを作るという初心者では部分をLM Studioにさせれば、完全ローカルで画像を生成できる。

1.良いプロンプト集のテキストファイルを作る
プロンプトにはコツがあるので、色々なサイトで紹介されている。
検索していて見つけた以下のサイトを使ってみた。

このサイトの内容をコピペして以下のようなテキストファイルを作り、「画像生成プロンプト例.txt」という名前にした。
※以下の例ではあまりこのテキストファイルを作るメリットが感じられませんが、表情や仕草など優先させたい表現があれば効果があるかと思います。

indoors
屋内
inside a room
部屋の中
inside the house
家の中
in the attic
屋根裏部屋

2.プロンプトを生成する
テキストファイルが準備できたらLM Studio＋openai/gpt-oss-20bで以下のように指示をしてみた。
作りたい画像：の行を、適宜変更すれば使いまわせる。

画像を生成できるAIに命令するためのプロンプトを英語で作ってください

作りたい画像：雪が積もった広い平原。遠くには山々が見える。夜で空には美しい星がたくさん光っていて、男性が１人、空を見上げている。全体として壮大なイメージの画像

ただし、以下の仕様に基づいてプロンプトを作ってください。
「画像生成プロンプト例」にある言葉を積極的に使ってください。
必要な情報だけを単純に示し、要点を明確にしてください。
文章ではなく単語を並べたプロンプトにしてください。
単語は特に重要と思われることや被写体を先に記述してください

私の問いに対するopenai/gpt-oss-20bの回答は以下

man silhouette looking up, snow‑covered wide plain, distant mountain range, star‑filled night sky, dramatic lighting, majestic atmosphere, ultra‑detailed, high resolution

この結果をそのままコピペで Stable Diffusion に貼り付けて実行する

ちなみに指定したネガティブプロンプトは以下（いつも入れておくと良いらしい）

lowres, bad anatomy, bad hands, text, error, missing finger, extra digits, fewer digits, cropped, worst quality, low quality, low score, bad score, average score, signature, watermark, username, blurry

あとは openai/gpt-oss-20b と会話をしながらプロンプトを微調整すれば、より自分がイメージしている構図に変えていける。

似た画像も作ってみる

LM Studioは画像生成はできないが画像読み込みはできるので、一時期、xで話題になった方法で似た画像を作ってみる。
https://x.com/hitode909/status/1882224648626258342

LM Studio＋qwen/qwen3-vl-8bでやってみた。
プロンプトは以下

この画像と全く同じ写真を生成AIで作りたいので、プロンプトを生成してください。
生成するのは「プロンプト1行」と「ネガティブプロンプト1行」の2つで、どちらも英語で作ってください。
被写体はもちろん、背景の詳細も記述してください。
内容に加えて、レンズの口径とF値、ボケ具合、光の入り方、ホワイトバランス、照明の向きなど、撮影時の条件も推察してプロンプトに含めてください。
EXIFに埋め込まれた情報を参照してください。

プロンプト2種類を返してくれるので、そのままコピペして画像生成

比較するとこんな感じ。
気球の色など詳細は違う部分があるが、元の画像と同じ系統の画像が生成できた。

結論

StableDiffusionを使いこなすには、プロンプトをどう作るかが難しい。
初心者にはそもそもどんなプロンプトを書けばよいかも難しい。
LM Studio＋StableDiffusionの環境があれば、完全にローカルでイメージに近い画像の生成ができる。

補足：生成例

LM Studioに依頼したプロンプトと、それから生成した画像の例をいくつか挙げておきます。

※プロンプトの良い書き方は以下のサイトを参考にしました
https://www.mouse-jp.co.jp/mouselabo/entry/2024/07/31/100098

以下の例のポイントは LM Studioに具体的なアイデアを丸投げしていること
私は「日本と聞いてイメージするもの」とか「サイバーな雰囲気」とだけ指定して、あとの具体的な部分はLM Studio＋openai/gpt-oss-20bに考えさせている。

例1：日本っぽい画像

画像を生成するAIに命令するためのプロンプトを英語の1行で作ってください。

作成したいイメージは以下です
- 日本をテーマにした観光ガイドの表紙に載せる画像
- 外国人が日本と聞いてイメージするもの（富士山、さくらなど）５つが自然に１枚の写真になっている
- 美しく目を引くような画像にしたい

私が指定した情報に加えて、以下の情報を考えて追加してください。
- プロンプトは , 区切りで書いてください
- プロンプトが長くなっても構いません。具体的であることを重視してください
- 画像生成AIは地名や固有名詞を知りません。地名や固有名詞がある場合は、その特徴を画像生成AIが描けるように描写してください。
- 生成したい画像のイメージを明確にしてください
- プロンプトには被写体、視点や構図、画風や描写などの基本要素を漏れなくいれてください
- 抽象的な表現を避け、具体的な指示をしてください
- 必要な情報を過不足なく入れてください。
- まず重要な情報を書き出し、その後に細かな条件を付け加えてください
- プロンプトは以下の順序で書いてください
1.メインの被写体（人物や動物、風景など）
2.被写体の状況や動作（表情や見た目など）
3.環境（場所や背景、天気など）
4.構図やアングル（全身、顔のアップ、位置など）
5.カラーパレット（メインの色や色使いなど）
6.アートスタイルや技法（アニメ、水彩画、スケッチなど）

例2：サイバーな画像

画像を生成するAIに命令するためのプロンプトを英語の1行で作ってください。

作成したいイメージは以下です
- アンドロイドが一般的になった未来の日本
- 場面は夜でサイバーな雰囲気

私が指定した情報に加えて、以下の情報を考えて追加してください。
- プロンプトは , 区切りで書いてください
（以下は上の例と同じのため省略）

例3：宇宙飛行士

もちろん、自分で画像の詳細を指定することもできる
作りたい画像のイメージが自分の頭にある場合は、なかなか指示が難しい
LM Studioと会話を繰り返しながらイメージに近づけていく

画像を生成するAIに命令するためのプロンプトを英語の1行で作ってください。

作成したいイメージは以下です
- 画像の下は月面。上には美しい星々
- 月面には墜落したスペースシャトルがめり込んでいる
- スペースシャトルの近くには小さい点のように見える宇宙飛行士が1人いる
- 全体として月面と宇宙の星々が目立つ美しい画像

私が指定した情報に加えて、以下の情報を考えて追加してください。

- プロンプトは , 区切りで書いてください
 （以下は上の例と同じのため省略）

これは思った通りにならなかったので、LM Studioにさらにこう指示した。

スペースシャトルが墜落して地面にめり込んでいる、という部分が画像生成ＡＩにうまく伝わりません。プロンプトを修正してください。

何度かやり取りしてできた画像がこれ

自分で英語を調べながらゼロからプロンプトを作るよりは早いかなと思います。

例4：ハムスターと生成AI

上記の例ではLM Studioの出力が長すぎて意図が伝わらないことがある
イメージがある場合は1文1文を短くするように指示しても良さそうだ

画像を生成するAIに命令するためのプロンプトを英語の1行で作ってください。

作成したいイメージは以下です
- ハムスターがパソコンの前に座って、生成AIを使おうとしている
- ハムスターはデフォルメせず、リアル調のデザインにする
- 全体として明るい様子にしたい

プロンプト作成は以下の条件を守ってください
- プロンプトは , 区切りで書いてください
- プロンプトの1文1文はできるだけ短くしてください。1文は5語以内にしてください。
- , で区切られたプロンプトの文の数が長くなっても構いません。具体的であることを重視してください
- 生成したい画像のイメージを明確にしてください