こんにちはダックスフントです。
自分は今、画像解析が必要なフィジカルAIの勉強をしているのですが、AIモデルやアルゴリズムの検証にちょうどよいデータがなかなか見つからないことがあります。このような悩みは、他の画像認識のAI・データサイエンス系のプロジェクトでもよく起こり得る課題かと思います。例えば製造業向けのプロジェクトでは、現場との調整に時間がかかってデータをすぐに集められなかったり、不良品のようにそもそも数が少ないデータを用意するのが大変だったりします。
こうしたデータ収集の壁に対して、最近は画像・動画生成AIで本番環境に近いデータを作り、事前検証に活用するテクニックが使われるようになってきました。自分もこの方法を試そうと思い、さまざまなツールを調べていく中で、「ComfyUI」が良いなと感じました。ComfyUIはDifyのようにノーコードで画像・動画生成のワークフロー(処理の流れ)を作成できるツールとなっており、機能の充実度はもちろん、実際に使ってみて使い勝手も良いと感じました。
そこで、この記事では「画像・動画認識AIのプロジェクトでデータが足りない」ときに役立つツールとして、ComfyUIを紹介します。また、公式が紹介しているユースケースをもとに、どんな使い方ができるのかも紹介します。
次のような方に読んでいただけると嬉しいです。
- 画像・動画認識AIのプロジェクトで、データ不足に困っている方
- Stable Diffusionなどの生成AI関連のキーワードを聞いたことがある方
- 画像・動画生成AIや世界モデル(物理法則など現実世界のルールも考慮して映像を生成できる、高度な生成AI)に興味がある方
なお、データをたくさん生成するだけでなく、生成したデータを事前検証に活かすためのテクニックもいろいろあります。今後色々調べてみようと思います。
TL;DR
- 画像・動画認識AIの学習・評価データが足りないときは、生成AIで、実際の現場で撮影したような画像・動画を作って補う方法があります。例えば、不良品画像の生成や、シミュレーション映像の写実化に活用されています。
- 数枚試すだけなら、GeminiアプリやHugging Face Spacesで足ります。ただし、大量生成や細かな制御は難しいです。本格的に取り組むなら、大手クラウドのAPI、ComfyUI、WanGPあたりが候補になります。
- ComfyUIは、ノードを繋ぐだけでワークフローを組めるノーコードツールで、Difyの画像・動画生成版のようなイメージです。画像・動画生成モデルのほか、音声・音楽生成モデル、世界モデル、画像から3Dモデルを作るモデルなどが扱えます。ワークフローをJSONで保存・共有でき、APIから実行して大量生成もできます。
- 手元にGPUがあれば、ローカル版で、さまざまな生成モデルを無料で使えます。これを踏まえて、自分は、ワークフローやパラメータを変えながら気軽に試行錯誤できる使い勝手に魅力を感じて、触ってみることにしました。
- 公式サンプルの画像生成ワークフローをベースに、構築から動作確認まで10分程度でできました。自宅のGPU(RTX 3060 Ti、VRAM 8GB)でStable Diffusion XLを動かすと、画像1枚あたり2〜3秒で生成できました。
目次
- 1. データが足りないとき、生成AIでデータを作るという選択肢
- 2. 手軽に試す場合のツール候補
- 3. 本格的にデータ生成をしたい場合のツール候補
- 4. 各ツールの比較と、ComfyUIに決めた理由
- 5. ComfyUIとは
- 6. ComfyUIの活用例
- 7. 自分がComfyUIを動かした時の手順
- 8. まとめ
1. データが足りないとき、生成AIでデータを作るという選択肢
画像・動画の認識AI(分類・物体検出・セグメンテーションなど)やフィジカルAIの開発・検証では、現場に近いデータが欠かせません。しかし、現場との調整に時間がかかってなかなか集められなかったり、不良品検知における不良品パターンの発生頻度が低くてデータ数が集まらなかったりします。
従来は、シミュレーション環境でデータを集めるのが一般的でした。ただ、シミュレーション環境で構築した2Dモデルや3Dモデルは見た目が作り物っぽく、それを元にAIを学習させても、実機や実環境に持っていくと精度が落ちることがあります。これがSim2Realのギャップ(シミュレーション環境と現実世界の差)と呼ばれる問題です。また、このギャップを埋めようと、現実に起こりうる条件をシミュレーション環境に細かく組み込むほど、構築コストが跳ね上がってしまうというジレンマもありました。
最近は生成AIの精度が上がり、実写に近い画像や動画を作れるようになってきました。そこで、画像・動画生成AIでデータを作る方法が注目されています。たとえば、現場で撮影されたような画像データを生成させたり、1枚の画像の一部を別のものに置き換えたり、1枚の画像から動画を生成してバリエーションを増やしたりできます。
ただし、生成したデータはあくまで現場「ぽい」データなので、現場で実際に得られるデータと完全に同じにはなりません。それでも、従来のシミュレーション環境内で取得するデータよりは実写に近いため、Sim2Realのギャップを小さくできる可能性があります。その結果、本番導入前に現場を想定した事前検証が効果的にできたり、現場に持ち込んだあとのモデル調整(パラメータ調整やファインチューニングなど)に必要なデータ量を減らせたりすることが期待できます。
画像・動画生成AIでデータを作っている事例を紹介します。
- データグリッド「Anomaly Generator」(ニュースリリース): 少数の不良品画像から、多様な不良画像を生成する製品です。大手製造業を中心に30社以上へ導入されたと発表されており、住友電気工業、TOPPAN、豊田自動織機が導入企業として挙がっています。狙った位置に自然な不良部分を生成する機能もあります。
- DXC Technologyの不良品画像の生成: 画像生成AI(Stable Diffusion 2.1)をAmazon SageMaker上で動かし、傷などの欠陥がある製品の画像を生成しています。
次に、比較的最近発表された世界モデルの事例を紹介します。
- Wayve(GAIA-2、GAIA-3): 自動運転では、実際に走行してデータを集めるのに手間がかかります。特に、急な割り込みや悪天候のように集めにくい場面を、世界モデルで生成しています。
- Corning × Roboflow × NVIDIA(Roboflowのブログ): 光ファイバーの欠陥検出で、NVIDIAの製品(NVIDIA Defect Image Generation skill、Cosmos、Isaac Sim)を組み合わせています。物理的に整合性のある欠陥画像を生成し、モデルの学習に使っています。
- ロボット学習用データの生成(NVIDIAニュース): 1X(ヒューマノイド)、Skild AI、Nexar、Oxaなどが利用していると、NVIDIAが発表しています。
また、NVIDIAは、世界モデルの使い方をCookbookとしても公開しています。
- Real-World Video Manipulation: 実写の動画に対して、背景の差し替え、照明の変更、物体の変換などを行います。
- Warehouse Simulation: シミュレーション上に作った倉庫で、さまざまな角度に置いた監視カメラのCG映像を、実写のような映像に変換します。
- Weather Augmentation: 画像や動画の天候を変更します。晴天で集めたデータから悪天候のデータを合成して学習に使えるので、天候の違いによる精度の差(ギャップ)を減らせます。
- CARLA Sim2Real: 自動運転のシミュレーション環境で、夜間・降雪・霧など、現実で起こり得るさまざまな条件の映像を作ります。
- X-Mobility Navigation: ロボットのナビゲーション向けに、シミュレーションの映像を実環境に近づける方針でデータ拡張を行います。
2. 手軽に試す場合のツール候補
画像や動画の生成を数件、ぱっと試すだけなら、Geminiアプリ、Hugging Face Spaces、Stable Diffusion Onlineが候補になります。
2-1. Geminiアプリ
普段のチャットと同じ感覚で、画像生成も依頼できます。GPUを用意する必要はなく、Geminiアプリの料金の範囲内で使えます。
ただ、本格的に大量に生成させたい場合は、次の不便さがあります。
-
手間がかかる
- チャット画面から手動で、1件ずつプロンプトを送り、生成を待ち、生成物をダウンロードする必要があります。
-
使えるモデルがGoogle提供のものに限られる
- Stable DiffusionやFLUXのようなオープンなモデルや、最新の高性能モデルに切り替えることはできません。
- 個人的な印象ですが、Geminiの画像はアニメ調・ファンタジー寄りになりやすく、現実の写真とは雰囲気が少し離れます。
-
細かな制御ができない
- ユーザーが設定できるのは、主にモデルとプロンプトだけです。
- 生成の挙動を調整するパラメータ(ノイズ除去率やサンプラーなど)や、実験の再現に必要なseed値は指定できません。
2-2. Hugging Face Spaces
Hugging Face Spacesは、AIモデルを手軽に試せるデモアプリの公開場所です。有志の開発者や企業が作ったアプリが並んでいて、画像・動画生成だけでなく、テキスト生成や音声合成なども試せます。アプリの画面には、モデル固有の入力欄があり、プロンプト以外のパラメータ(ノイズ除去率など)も設定変更できます。
手元にGPUを用意する必要はなく、無料枠で使えます。ただ、無料枠で使えるGPU時間は1日あたり5分程度なので、本格的なデータ生成には向きません。数回動かして雰囲気を確かめるようなデモ用途のサービスです。
2-3. Stable Diffusion Online
「Stable Diffusion Online」(stablediffusionweb.com)という第三者が運営するWebサービスです。
画像・動画生成における用途ごと(テキストから画像生成、指定した画像を編集、高画質化、背景削除など)の専用画面が用意されています。ブラウザを開いてすぐに無料で使えます。
ただ、裏側はHugging Face Spacesで動いているため、GPUの無料枠に限りがあります。また、選べるモデルにもかなり制限があります。Hugging Face Spacesと同じく、本格的なデータ生成ではなく「無料で手軽に試す」際に使えるサービスです。
3. 本格的にデータ生成をしたい場合のツール候補
大量のデータを生成したい場合や、細かく制御したい場合に使えるツールを紹介します。
(ざっと調べて見つかったものを挙げているだけなので、他のツールも世の中に存在するかもしれません)
3-1. 大手クラウドのマネージドサービス(AWS・Azure・Google Cloud)
AWS・Azure・Google Cloudには、GPUを自分で用意しなくても画像・動画生成モデルを使えるサービスがあります。
ただし主な提供形式はAPIなので、Web UI上の生成機能はあまり充実していません。また、複数の処理を繋ぐワークフローが必要な場合は、モデルのAPI呼び出し以外の部分を自前で実装する必要があります。
| クラウド | サービス | 使える画像・動画生成モデルの例 |
|---|---|---|
| AWS | Amazon Bedrock | Stability AIのモデル(Stable Image Ultra、Stable Diffusion 3.5 Large、Stable Image Core)、Amazon Nova Canvas(画像)、Amazon Nova Reel(動画) |
| Azure | Microsoft Foundry(旧Azure AI Foundry) | gpt-image-1、(提供終了してしまったモデル:Stable Diffusion、FLUX) |
| Google Cloud | Vertex AI | Imagen(画像)、Veo(動画)。Model Gardenではオープンモデルも選べる |
3-2. ComfyUI
Difyのように、ノーコードで生成ワークフローを作れるオープンソースのツールです。画面上でノードを繋いでいくだけで、さまざまなワークフローを簡単に構築できます。作ったワークフローはAPI経由で実行できるので、プログラムから動かすこともできます。
クラウド版とローカル版があり、ローカル版は自前のGPUがあれば無料で、さまざまなモデルを動かせます。詳しくは5章で紹介します。
3-3. WanGP(Wan2GP)
WanGPは、最新の画像・動画・音声などの生成モデルを、あまり高性能でないGPUでも動かせるようにしたアプリです。プロンプトやパラメータを入力しながら生成を試行錯誤できるWeb UIも付いています。
4. 各ツールの比較と、ComfyUIに決めた理由
ここまで紹介した6つのツールを観点別に比較しました。
| 観点 | Geminiアプリ | Hugging Face Spaces | Stable Diffusion Online | 大手クラウド | ComfyUI | WanGP |
|---|---|---|---|---|---|---|
| GPUの用意 | 不要 | 不要 | 不要 | 不要 | ローカル版は必要(クラウド版は不要) | 必要 |
| 費用 | Geminiアプリの枠内 | 無料(有料プランあり) | 無料(有料プランあり) | 従量課金 | ローカル版は無料(クラウド版は有料) | 無料 |
| 使えるモデルの幅 | △(Google提供の範囲) | ○ | △ | △ | ○ | △(動画生成が中心) |
| 細かなパラメータ設定 | △(見当たらない) | ○(Space次第) | ○ | △(サービスやモデル次第) | ○ | ○ |
| 大量生成 | ×(1枚ずつ手作業) | ×(1日の利用枠が小さい) | × | ○ | ○ | ○ |
本格的なデータ生成を見越して、自分は、ComfyUIに最も魅力を感じ、使ってみることにしました。画像・動画生成は、結果を見ながらプロンプトやパラメータを調整していく作業です。その試行錯誤のしやすさが決め手になりました。
- GPUさえ用意すれば、無料でさまざまな生成モデルを使える
- 画面上でモデルやパラメータを簡単に変更できる
- ノーコードで、ノードを繋いでいきながらワークフローを組めるため、試行錯誤しやすい
- 大量生成したい場合は、作ったワークフローをAPI経由で実行できる
5. ComfyUIとは
ComfyUIは、画像・動画・音声・3Dの生成ワークフロー(≒パイプライン)を、画面上でノードを繋ぐだけで簡単に組めるツールです。コードを書く必要が無いノーコードツールです。開発元はComfy Orgで、オープンソース(ライセンスはGPL-3.0)です。
似たツールにDifyがあります。DifyはLLMアプリやAIエージェントのワークフロー構築向けで、ComfyUIは拡散モデルを使った画像・動画・音声・3Dの生成に特化しています。
ComfyUIで使える代表的なモデルは以下の通りです。
| モデルの種類 | 概要 | 利用可能なモデル名 |
|---|---|---|
| 画像生成 | テキストから画像を作る。Stable Diffusion系から最新モデルまで幅広い | Stable Diffusion 1.5 / SDXL / SD3.5、Flux.1 / Flux.2、Qwen Image、Z-Image、HiDream |
| 動画生成 | テキストや画像から動画を作る | Wan 2.1・2.2、MiniMax H3、LTX-Video 2・2.3、HunyuanVideo 1.5、CogVideoX、Mochi |
| 世界モデル | 物理法則など現実世界のルールを踏まえて映像を生成・予測する | Cosmos-Predict2(NVIDIA) |
| 画像から3Dモデル作成 | 1枚の画像から3Dモデルを作る | Hunyuan3D 2.1、Trellis.2、Pixal3D |
| 音声・音楽生成 | テキストから音声や音楽を作る | ACE-Step 1.5、Stable Audio 3、MiniMax Music 3、Yue 2 |
XやYouTubeでは、新しい生成モデルが発表されると、ComfyUIで動かしている例をよく見かけます。GitHubのStar数も約13.6万(2026年10月時点)となっているため、ComfyUIは、クリエイター分野ではメジャーなツールであると予想されます。
以下の図は、公式ドキュメントに載っている「テキストから画像を生成するワークフロー」です。

使っているノードは6種類だけです。これらをノーコードで繋ぐだけで、すぐに画像生成を試せます。この図には含まれていませんが、生成した画像の確認も同じ画面内でできます。各ノードの設定変更も、ノードを直接選んで行えます。
- A: PCに事前にダウンロードしたモデルの重みファイルを読み込む(Load Checkpoint)
- B: 生成する画像のサイズと枚数を指定する(Empty Latent Image)
- C: 含めたい要素をPositiveプロンプト、含めたくない要素をNegativeプロンプトとして指定する(CLIP Text Encode)
- D: seed値、ノイズ除去率、サンプラーなど、生成時の細かなパラメータを設定し、画像の元になるデータを生成する(KSampler)
- E: Dの結果を人が見られる画像に変換する(VAE Decode)
- F: 画像をファイルとして出力する(Save Image)
また、ワークフローをAPI形式のJSONとして書き出せば、ComfyUIのサーバーに送ってプログラムから実行できます。JSONで保存できるので、バージョン管理や共有もできます。
6. ComfyUIの活用例
ComfyUIの活用例を紹介します。6-1〜6-5の使い方は、公式サイトのチュートリアルにも掲載されているので、詳細を知りたい方や実際に試してみたい方はそちらもご覧ください。6-6以降は、このチュートリアルページには含まれていませんが、代表的な活用例です(6-7・6-8は個別の公式ページへのリンクを付けています)。
6-1. テキストから画像を生成(Text to Image)
画像生成モデル(Stable Diffusionなど)を使用することで、入力した指示(テキスト)から対応する画像を生成できます。
6-2. 画像から画像を生成(Image to Image)
画像生成モデルを使うと、入力した画像と指示に基づいて新しい画像を生成できます。元の画像のスタイル変換や画像の修復、後述の例(インペインティング・アウトペインティング、アップスケール)も、この仕組みで実現できます。
製造業の不良品検知のケースにおいては、手元に少量しかない不良品の実画像から、照明や背景違いのバリエーションを増やす使い方が考えられます。
6-3. インペインティング・アウトペインティング
インペインティング
画像を生成した時に、全体の雰囲気は良いのに、一部だけ直したい場合があります。例えば、余計な物が写り込んでいたり、一部の形が不自然になっているケースです。ただ、画像を0から再生成すると、まったく別の画像になってしまいます。そこで役立つのがインペインティング(画像内で指定した領域だけを編集する技術)です。
①編集前の画像
②画像内の編集したい領域を指定
③編集後の画像(指定した領域に置かれたカップの形状が置き換わっている)
アウトペインティング
アウトペインティングは、画像の境界よりも外側の領域を予測して、画像の領域を拡張する技術です。製造業の不良品検知のケースにおいては、切り出した部品の画像の周りに背景を足して、構図のバリエーションを増やす使い方が考えられます。
①編集前の画像
②編集後の画像(編集前よりも外側の領域まで拡張されており、特に下側が大きく広がっている)
6-4. アップスケール(高解像度化)
入力された低解像度の画像を高解像度に変換します。ただし、元の画像に写っていない細部は、モデルが推測で描き足したものです。実際に得られる情報が増えるわけではないので、本物の高解像度画像と同じ効果があるとは限りません。それでも、物体の輪郭がくっきりするため、元の画像が小さくて学習に使いにくい場合に、解像度をそろえる手段として使えます。
6-5. LoRA(1つのLoRAアダプターだけでなく、複数のLoRAアダプターの組み合わせも可能)
たとえば、特定の画風の画像を作りたくて、画像生成モデルを調整したい場合があります。そういった場合は、LoRA(Low-Rank Adaptation)でファインチューニングするのが一般的です。LoRAは、元のモデルに「LoRAアダプター」という少量のパラメータを追加して調整する手法です。ComfyUIでは、LoRAでファインチューニングしたモデルも使えます。具体的には、モデル読み込みのノードと、LoRAアダプターの読み込みが可能なLoad LoRAノードを接続することで、LoRAアダプターを加えた状態(ファインチューニング後のモデル)で使えます。
さらに、Load LoRAノードにはstrength_modelプロパティ(LoRAアダプターをどの程度の重みでモデルに加えるか)があります。1つのLoRAアダプターを使う時に重みを調整できるのはもちろん、Load LoRAノードを複数つなげれば、1つのモデルに複数のLoRAアダプターを組み合わせて、それぞれの重みを個別に調整することもできます。
余談:LLM(テキスト生成モデル)でのLoRAを調べた時に、モデルマージ(各々のドメイン分野でファインチューニングした複数のモデルを1つに統合する)の分野で、複数のLoRAアダプターを統合する研究事例をいくつか知りました。ComfyUIは標準機能で複数のLoRAアダプターを組み合わせられるので、画像生成分野(もしかしたらテキスト生成分野でも)では、自分が思っている以上にモデルマージの実用化が進んでいるのだなと感じました。
①異なる2種類のLoRAアダプターでそれぞれ生成した画像例
②異なる2種類のLoRAアダプターを組み合わせて生成した画像例(それぞれのLoRAアダプターで生成された画像の雰囲気が組み合わさったような画風になる)
6-6. 動画生成
Wan 2.x、MiniMax H3など、動画生成モデルにも対応しています。テキストから動画を作ることも、1枚の画像から動画を作ることもできます。
特に、1枚の画像から動画を作った場合は、動画の各フレームを画像として切り出すことで、画像を大量に生成できます。被写体や構図を大きく崩さずに、整合性のとれたバリエーションを増やせるのが利点です。
製造業の不良品検知のケースでは、手元に少量しかない不良品の実画像から動画を生成し、各フレームを画像として使うことで、被写体の形状の破綻を防ぎつつ、さまざまなバリエーションの画像を大量に作れます。
6-7. 世界モデル
NVIDIAのCosmos-Predict2などの世界モデルにも対応しています。(公式ページ)
世界モデルを使うと、テキストや画像から動画を作る時に、現実世界の物理法則や物理現象を踏まえた映像を生成できます。
たとえば、フィジカルAIや産業シミュレーション分野で、高品質な動画の生成に使えます。
6-8. 画像から3Dモデル生成
Trellis.2やPixal3Dなどの3Dモデルへの変換モデルにも対応しています。(公式ページ)
たとえばPixal3Dを使うと、被写体が映った1枚の画像から、その被写体の3Dモデルを生成できます。
7. 自分がComfyUIを動かした時の手順
GPU付きの自宅のデスクトップPCでComfyUIを導入・使用した時の手順を紹介します。
GPUのスペックはそこまで高くありません(NVIDIA GeForce RTX 3060 Ti, VRAM: 8GB)。
7-1. インストール
自分のデスクトップPCは、プログラミング言語やGitなどの開発用ソフトウェアを何も入れていない状態だったからか、Comfy Desktop(一番シンプルにインストール可能な形式)をインストールしても、アプリが起動しませんでした(原因は未確認です)。
そこで、「Windows向けComfyUIポータブル版」でインストール(zipファイルのダウンロード&解凍)をしました。こちらでは、特にトラブルなくrun_nvidia_gpu.batをダブルクリックするだけで、無事にComfyUIが起動しました。
7-2. 画像生成モデルの重みファイルをダウンロード
画像生成のワークフローで使うモデルの重みファイルをHugging Faceからダウンロードして、ComfyUI内の指定された場所にファイルを配置しました。
公式チュートリアルではStable Diffusion 1.5が使われていますが、今後の追加検証も見据えて、実写クオリティの画像生成に強い「Stable Diffusion XL (SDXL)」の重みファイルをダウンロードして配置しました。
7-3. 画像生成のワークフローを作成
公式サンプルとして公開されている画像生成のワークフローをインポート後、モデルの重みファイルへのパスと、作成したい画像を指示するプロンプトの設定のみを変更しました。
実際にワークフローを動かして、実写のような画像が生成されることを確認できました。画像は1枚あたり2〜3秒で生成できました。

また、今回は元となるワークフローをインポートして、一部の設定項目(重みファイル名、Positiveプロンプト、画像サイズ)だけを変更したので、10分もかからずに構築から動作確認まで行えました。後から設定を変更する時も、ノーコード(ノードを選択して特定の値に書き換えるだけ)ですぐに実施できるため、試行錯誤も楽でした。
ComfyUIは公式サイトにさまざまなワークフローを公開しているページがあるため、画像生成以外のケースにおいても、基本的にはこの中からワークフローを探してインポートする手順になります。
新規にワークフローを0から構築する場合であっても、ノーコードでノードを繋げていく形式でワークフローを作成できるので、ノードの種類や用途に慣れていれば、すぐにワークフローを構築できると思います。
7-4. API形式でワークフローを実行
画像を大量に生成する場合は、設定値を若干変更していきながら、ワークフローを実行したくなると思います。
たとえば、プロンプト内の背景(山、海、白い部屋、リビング等)に関する文言だけを少しずつ変えながら実行したい場合や、プロンプトはそのままでseed値だけを変えて生成される画像のバリエーションを増やしたい場合です。
その場合は、ComfyUIが起動している間はサーバーとして動いている(アドレスはローカルホストの127.0.0.1)ので、その仕組みを活用できます。ワークフロー編集画面には、ワークフローをAPI形式のJSONファイルで書き出す機能が標準で搭載されています。この機能で書き出したJSONファイルを使って、プログラムから背景に関するプロンプト内の文言やseed値などの値だけを書き換えて、サーバーに送って実行します。これで、設定を変えながらワークフローを機械的に実行できます。
8. まとめ
- 画像・動画認識AIの学習・評価データが足りないときは、生成AIで、実際の現場で撮影したような画像・動画を作って補う方法があります。
- 数枚を試すだけなら、GeminiアプリやHugging Face Spacesが手軽です。ただし、大量生成や細かなパラメータ設定には向きません。
- 本格的に取り組むなら、大手クラウドのAPI、ComfyUI、WanGPなどが候補になります。自分は、ノーコードでワークフローやパラメータを変えながら試行錯誤できるComfyUIに魅力を感じました。
- ComfyUIは、画像・動画生成モデルだけでなく、音声・音楽生成モデルや世界モデル、画像から3Dモデルを作るモデルなども扱えます。また、ワークフローをJSONで保存・共有でき、APIからワークフローを実行してデータを大量に生成することもできます。
- 注意点は、ローカル版でいろいろ試すには、生成モデルを動かすための自前のGPUが必要なことです。クラウド版ならGPUを用意する必要はありませんが、別途料金がかかります。
自分は、公式サンプルをベースにテキストから画像を生成するワークフローを、10分程度で動かせました。生成AIにご興味のある方は、まずは公式のテキストから画像のワークフローを、手元のGPUで動かしてみるのはいかがでしょうか?
今後は、動画生成モデルも動かしてみる予定です(軽量なモデルが見つかれば)。あわせて、生成したデータをどう選別していくかなどについても調べてみたいと思います。
参考
- ComfyUI(GitHub)
- ComfyUI公式ドキュメント
- ComfyUI公式チュートリアル: Text to Image / Image to Image / Inpaint / Outpaint / Upscale / LoRA / Multiple LoRAs
- Cosmos-Predict2 Video2World(ComfyUI公式チュートリアル)
- Trellis.2 and Pixal3D are now native in ComfyUI(Comfyブログ)
- Cosmos Cookbook
- AWS: 製造業の欠陥検出に生成AI
- Hugging Face ZeroGPU docs
- Stable Diffusion Online
- WanGP(GitHub)






