FLUX
ローカルでMidjournyレベルの絵が出るらしいという噂、Stable Diffusionの開発者たちが立ち上げた「Black Forest Labs」が発表した最新の画像生成AIモデル
品質を確認するだけなら→ https://huggingface.co/spaces/black-forest-labs/FLUX.1-dev
必要ノードがComfyUI最新版のビルトインノードとして必要なので、ComfyUIの最新版を持ってくる必要がある。
既存のComfyUIとは別でStabilityMatrix が便利
StablilityMatrix内のPackageとしてComfyUIが含まれる状態となる
Win https://github.com/LykosAI/StabilityMatrix/releases/latest/download/StabilityMatrix-win-x64.zip
Mac https://github.com/LykosAI/StabilityMatrix/releases/latest/download/StabilityMatrix-macos-arm64.dmg
基本的にはこの手順通り
flux1-dev.safetensorsについては、HuggingFaceでログインして規約同意が必要
16GBのMacBookProではメモリ不足で動作せず。
32GB以上が必要？
モデルがロードされている状態で、生成時間は3分半ほど
サイバーパンク
渋谷
クオリティはかなり高い印象を受けました
FluxでのControlNet
このリポジトリを ComfyUI/custom_nodes にクローン
git clone https://github.com/XLabs-AI/x-flux-comfyui.git
Managerで
8
ComfyUI's ControlNet Auxiliary Preprocessors
1197
を入れるほうが早いかも、
ComfyUI/custom_nodes/x-flux-comfyui/ に移動し、python setup.py を実行
models/xlabs/controlnets に移動し、以下のモデルをフォルダにダウンロードします
Comfy UI を実行すると動作するはず
ワークフロー（NF4-v2 と Deep Anything v2 を使用）: https://openart.ai/workflows/IFBoIX4h5QGbGWR40cQJ
Canny 用の他のワークフロー: https://openart.ai/workflows/p4SgVH4pv9837yuwL0n4
オリジナルのワークフロー例: https://huggingface.co/XLabs-AI/flux-controlnet-collections/tree/main/workflows
再構成して以下のjson、かつRTX4090でようやく動作。重い
