TouchDesignerでStable Diffusionを回す！

概要

この記事は、DotSimulateという方が作ったStable Diffusion WebUIのAPIを叩くtoxを使うまでの導入についてです。月10ドルで、toxの更新や画像生成のおもしろい情報がPatreon課金者のみのDiscordでやり取りされています。
toxの中身は公開しないので、紹介と導入の記事です。

TouchDesignerで生成すると

• 生成画像の連番を動画にしやすい
• 入力画像にインタラクティブ要素を入れやすい

という、入出力で遊べるメリットを感じました。

WebUIのBatch countを上げて複数バリエーションを出してこのプロンプトでいけそう→TouchDesignerで試す
みたいな使い分けをしています。

参考例

カメラ入力

3Dシーンと切り替え

カメラアングルを固定して画像生成し、背景を切り替えました

オーディオビジュアルライブ

Stable Diffusionで生成したものを素材に使ったオーディオビジュアルライブをしました。

環境

OS：Windows10
CPU：i7 10700
GPU：RTX 3070（8GB）
TouchDesigner：2022.32660、2022.32120

ちなみにVRAMが8GBだとtoeファイルを2つ立ち上げた状態で画像生成できないのが難点です。

手順

すごい簡単に使えます。
toxを置いて、Launch-api.batでAPIを呼ぶだけ。

1. TouchDesignerとStable Diffusion WebUIをインストール

Stable Diffusion WebUIの導入はこちら

2. batファイルの作成

以下のようにLaunch_api.batを作成して、webui-user.batと同じstable-diffusion-webuiフォルダ内に置きます。--apiさえ書いてあればOKです。

Launch_api.bat

@echo off

set PYTHON=
set GIT=
set VENV_DIR=
set COMMANDLINE_ARGS=--api --他のオプション
git pull

call webui.bat

Launch_api.batを叩いてWeb UIと同じように、以下が表示されたら準備完了です。

Running on local URL:  http://127.0.0.1:7860

To create a public link, set `share=True` in `launch()`.

自分はこれもバッチファイルを作ってます。

sd_api.bat

call どこかanaconda3\Scripts\activate.batのパス
call activate 環境の名前
cd stable-diffusion-webuiのパス
call Launch_api.bat

スタートメニューに登録しとくと使い分けしやすくて便利。

バッチファイルをスタートメニューにピン留めする方法

注意

toxからはモデルの切り替えができません。
Launch-api.batで立ち上げた後、http://127.0.0.1:7860/にアクセスしてWebUIから変更できます。

おまけ：別PCやスマホからAPIを叩いて画像生成する

これの通りにやったらよろしい。

--apiのところに--listenを追加するだけ。

同じネットワークにつながった別PCでhttp://(サーバー側PCのIPアドレス):7860にアクセスするとWebUIが立ち上がるはずです。
httpsだと繋がらないので要注意。