1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

ComfyUI + Minimax H3でローカル動画生成 - ゼロから始めるAIシステム開発 #29

1
Posted at

ローカル動画生成にチャレンジ

今月(2026年8月)にオープンウェイト化されたAI動画生成モデル「MiniMax H3」がすごいらしい。生成AIモデルをGUIで操作するプラットフォームである「ComfyUI」にネイティブ統合され、ローカルPC上で高品質な映像と音声を生成する環境が構築可能になった。

現在のPCを新調したときはローカル画像生成を視野に入れてグラボを選んだのだが、結局クラウドサービスで生成できてしまうので環境のセットアップをサボってきた経緯がある。重い腰を上げる日が三年越しでやってきた。

今回はComfyUIの公式デスクトップアプリ Comfy Desktop を使って、MiniMax H3によるローカル動画生成環境を構築してみる。

MiniMax H3とは

中国のAI企業MiniMax社による動画生成モデル。H3は単にテキストから動画を作れるだけではなくテキスト・画像・動画・音声をまとめて扱えるマルチモーダルモデル。さらに映像とステレオ音声を同時に生成でき、最大15秒、24fps、日本語を含む複数言語の音声にも対応しているらしい。

ComfyUIとは

Stable Diffusionをはじめとする生成AIモデルをノードでつなぐ、視覚的なワークフローとして操作できるオープンソースUI。Comfy Orgが開発しメンテナンスしている。ただの画像生成ツールではなく画像・動画・音声を横断する統合的な生成プラットフォームとなっている。

導入

Comfy Desktopのインストール

ComfyUIのインストールはこれまでまあまあ複雑で非エンジニアには少し難しかったようだが、Comfy Desktopがリリースされたことで簡単になった。
image.png
Comfy.org
右上の「DOWNLOAD DESKTOP」からダウンロード
これのインストールで聞かれるインストール先はComfyUIの実体ではなくComfy Desktopのインストール先なので、ローカル画像・動画生成で必要になる巨大なモデルなどは別のフォルダを指定できる。SSDとHDDを分けていてSSDの容量が気になる人でも特に気にすることはない。
image.png
右のLocalを選んで、下の同意をチェックして続行。(その下は改善にデータを送るかどうかのチェック)
image.png
・複数のComfyUIを管理する場合はNameで名前を設定しておくのがいいだろう。
・GPUを搭載している場合はここで検知される。されない場合は最新のドライバをインストールしよう。
・ComfyUIのインストール先もここで決定できる。巨大なモデルを入れるのでドライブをC・Dで分けている人はDにしておくとよいだろう。
image.png
Advancedをクリックすると詳細設定ができる。
・自身のPCに環境を作るならStandalone、他の環境に接続するならRemote Connectionを選択
・Releaseは更新系統の選択、基本はStableでOK
・インストールするバージョンを選べる。環境をカスタムしたとき特定バージョンでないと不具合がでる場合は気にする必要があるが、基本は最新版でOK。
・HardwareはどのGPU向けのPyTorchなどをインストールするかの選択。GPUが検出されているなら適切なものになっていると思われる。
image.png
いつも使うワークフローを選べる。MiniMaxH3を選んでインストール。

ComfyUIの操作

image.png
長い長いダウンロードを経てこの画面。…なるほどわからん。
image.png
拡大したら文字が見えてきた。この右のノードにプロンプトが書いてあるのでここに書いて右上の「実行する」を押せばとりあえず生成できる。(真ん中の小さいノードが解像度等を司っていて、左二つと下のノードはメモのようなもので動作には関係していないっぽい?)とりあえず適当なプロンプトを入れてみる。

MiniMax H3 テキストから動画生成

柴犬が外を走っている動画。アングルを次々変えて、ロケーションを草原、川、山と変えてください。

image.png
image.png
5秒の動画が約20分ほどかけて完成。ロケーションは完璧だが走っておらず佇んでいる。背景は静止画像だとわかりづらいが、動画だと全体的にザラザラしたテクスチャのようなものがかかっていて拡大すると作り物感がすごい。解像度が低いせいかもしれない。

A Shiba Inu is running outside. Please change the camera angle repeatedly and switch the locations to a meadow, a river, and a mountain.

image.png
プロンプトを英語にしたら走った。いろいろ試してみた結果、日本語でもいけるが英語の方が忠実になりやすい印象。

紳士向け🔞について

画像は控えるがNSFWもいける。やったぜ。ただし人体の各部位が破綻しがちでちょくちょくホラー動画が出力される。環境をカスタムして補強する必要がありそう。

PCへの負荷

image.png
メモリ32GB、グラボRTX3060(VRAM12GB)の環境において、デフォルト解像度での生成は問題なく行えるが、メモリ・GPUともにMAXで使用されるので作りながら他の作業をするのはやや苦しい印象。ブラウザ操作くらいは大丈夫だがアクション系のゲームなどは難しいだろう。PCの動作音も少し気になるくらいに大きめ。食事等のAFKの前に仕込んでおくのが有効か。

テンプレートを選択

image.png
環境をカスタムするには複雑なワークフローを構築する必要があるが、いろいろなテンプレートが用意されているのでまずはそれを使ってみるのがいいだろう。左メニューの「テンプレート」からこの画面に行き、参照画像から動画生成をしたいので左上のテンプレートを選択。
image.png
別タブでこのようなワークフローが読み込まれる。赤い枠のノードで参照画像を指定できる。

MiniMax H3 参考画像から動画生成

image.png
KaniKaigiのマスコットを指定し、動画を作成してみる。

SHOT 1:The character in <Picture 1> is taking the stage in a virtual lecture hall to present their findings.
SHOT 2:Display the title of KaniKaigi 2027

SHOT 1:<画像1>のキャラクターがサイバー空間の講義室で登壇して成果発表を行っている。
SHOT 2:KaniKaigi 2027 のタイトルを表示
image.png
結果がこちら。うーん、思てたんと違う。キャラクターの再現性は高いが、「サイバー空間」は無視されているし、最後に場面転換してタイトルを出して欲しかったのだが。テンプレートに記載されている初期プロンプトはもっと長く詳細だったので、あのレベルを出力するにはプロンプトに凝る必要がありそう。画像生成よりも一段上等な、自分の中のイメージを正確に伝えられる言語化能力が必要になってくるかもしれない。

プロンプトを再考

ちょっと凝ってみた。

SHOT 1:In a dark, lecture-hall-like space—a futuristic, 
cyber-style environment illuminated by blue and green lights—the character shown in 
<Picture 1> is giving a lecture to the audience. 
The audience consists not of people, but of cute avatars modeled after seafood.
SHOT 2:The words “KaniKaigi 2027” appear on a black screen, and the scene ends.

SHOT 1: 暗い講義室のような空間に青や緑のライティングが光る近未来的なサイバー的な空間で、<画像1>のキャラクターが聴衆に対して講義をしている。聴衆は人物ではなく海産物をモチーフとした可愛らしいアバター。
SHOT 2: 黒の画面にKaniKaigi 2027の文字が浮かび上がって終了
image.png
image.png
結果はこちら。まあまあ。凝ったら凝った分だけよくなりそうな気はする。
文字に関してはいろいろ試してみたが英語・カタカナはほぼ溶けないが漢字は若干怪しい。

まとめ

動画モデルに初めて触るので他との比較ができないが、噂通りなかなか高品質な印象。長めの動画をポン出しで意図通りに生成するのは難しいだろうが、短いシーンを個別に生成して編集ソフトでつなげることができるのは動画のいいところか。
導入も簡単になり、ここ5年くらいのPCであれば不自由なく動作し、何より無料。クオリティを追求するなら勉強や資材が必要だが軽く楽しむ分には相当手ごろと言える。興味のある人はぜひ。

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?