はじめまして

簡単に自己紹介させてください。東京の大学4年生です。普段はクリエイティブコーディング、WebエンジニアやCG、たまにVJなどしてます。( X/Twitter )

私は今、CG製作を手掛けているWOWという会社でプログラマーアルバイトしています。そこで、ComfyUI触っている時に、詰まったのでメモとして残しておきます。

概要

ComfyUIで、Img2Img,Videoを生成した際に元の画像の面影が完全に失われてしまった。
始めはstepやcfgの値のせいかと思っただが、どうも上手くいかない、、

状況

元画像

Prompt（English）
"A lush grassland spreads out, filled with trees and flowers. The blue sky spreads out in the distance, and the sun's rays illuminate the earth. Please depict a woman looking at a beautiful landscape."

プロンプト（日本語）
木々や花々が生い茂る緑豊かな草原が広がります。遠くには青空が広がり、太陽の光が大地を照らします。美しい風景を眺める女性を描いてください。

修正前

修正後

このように修正前だとほぼプロンプト通りに描画されてしまい、元画像の面影がなくなる

解決方法と原因

IP Adapter を使用する

IPAdapterModelLoaderがなく、ipadapterが空になっていたからだった。画像のようにIPAdapterAdovancedのipadapter部分に読み込んだモデルを繋げるとちゃんと画像に沿った絵が描画された。

ちなみに、IPAdapterとは？

"Image Prompt Adapter"の略称
つまり、画像自体がプロンプトの役割を担ってくれる機能らしい。そこへテキストプロンプトで指示する流れらしい。

納得

終わりに

最後まで読んでいただきありがとうございます。生成AI、始めたばかりで情報間違っていた場合教えてください。

ちなみに、初めて記事書きました。定期的に上げていきたいと思ってますので、今後とも何卒よろしくお願いします。