１行でテイストが変わる
Stable Diffusion はテキストから画像を生成してくれる AI ですが、
Lora は元のモデルにつけたしであるテイストを加えることができるものです。
たとえばこれは
a machine learning boy
というテキストから Stable Diffusion で生成した画像ですが、
水彩画を学習した Lora を Stable Diffusion にロードして同じテキストで生成すると、
こういうテイストになります。
LoraはWebUI（GUIでStable Diffusionを使えるライブラリ）の方で使うのも簡単だけど、
コードから使うのも簡単です。
やり方
好きなテイストの Lora を Hugging Face などで探してダウンロードします。 .safetensorという拡張子のファイルです。
自分で作ることもできます。
さっきの水彩画のLoraはこれです。
pipe.load_lora_weights(".", weight_name="watercolor_v1_sdxl.safetensors")
これで Stable Diffusion に Lora がロードされます。
あとは生成するだけ。
from diffusers import StableDiffusionXLPipeline
pipe = StableDiffusionXLPipeline.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0')
pipe.to( "cuda" )
pipe.load_lora_weights(".", weight_name="watercolor_v1_sdxl.safetensors")
image = pipe("delicious pizza",latents=latents).images[0]
image.save('pizza.png')
🐣
フリーランスエンジニアです。
AIについて色々記事を書いていますのでよかったらプロフィールを見てみてください。
もし以下のようなご要望をお持ちでしたらお気軽にご相談ください。
AIサービスを開発したい、ビジネスにAIを組み込んで効率化したい、AIを使ったスマホアプリを開発したい、
ARを使ったアプリケーションを作りたい、スマホアプリを作りたいけどどこに相談したらいいかわからない…
いずれも中間コストを省いたリーズナブルな価格でお請けできます。
お仕事のご相談はこちらまで
rockyshikoku@gmail.com
機械学習やAR技術を使ったアプリケーションを作っています。
機械学習／AR関連の情報を発信しています。