はじめに

ここでは私が今進めている
レンダリング画像をVLM解析し、プロシージャルリギング用タグを自動生成する
ワークフローの冒頭部分に当たる

PDGのUSD Render Files TOP nodeを使って
バッチレンダリング、対象のhipファイルを開かずに大量レンダリングをし
その画像をVLMで辞書データ化するまでのワークフローを紹介します。

全体ワークフローの略図と注意

キャラクター画像のバッチレンダリング
      ↓
     VLM 今回はここまで
      ↓
 タグ(JSON)
      ↓
プロシージャルリギング

ComfyUI Bridgeの導入や、PDGを使ったファイルのリネーム方法ついてはこちらを参考にしてください

*注意
2026.06.02現在、Houdini Production Build 21.0.671で正常動作を確認　

私の環境ではHoudini Production Build 21.0.700以降では
ComfyUIのノードにエラーが発生し
PDGのComfyUI Submit Graph TOPが動作しないことを確認

LLMとVLMとは

LLM（Large Language Model）は、大量のテキストを学習し、人間のように文章を理解・生成できるAIです。ChatGPTなどが代表例で、主にテキストを入力としてテキストを出力します。

テキスト
↓
LLM
↓
テキスト

一方、VLM（Vision Language Model）は画像を理解できるLLMです。画像とテキストを入力として受け取り、その内容を説明したり、画像内の特徴を抽出したりできます。

画像 + テキスト
↓
VLM
↓
テキスト

ここでは画像説明だけでなく、

{
    "character_present": true,
    "character_type": "human",
    "eyes": true,
    "nose": true,
    "mouth": true,
    "ears": true
}

のような構造化データを出力させます。

必要なComfyUIカスタムノード

ComfyUI-Qwen-Omni

ComfyUI-Qwen-Omniに含まれる、Qwen Omni Combinedを使います

Qwen Omni CombinedのPrompt

あくまで一例

画像を解析し、JSONのみを出力してください。

ルール:
- 同じ情報を複数のキーに書かない
- 同じ内容を繰り返さない
- JSON以外を出力しない
- 生成に40秒以上かかるときはスキップ

{
    "スタイル": "",
    "キャラクター": {
        "種類":""
        "雌雄": "",
        "毛の色": "",
        "衣服": ""
    },
    "背景": {
        "植物": [],
        "建物": []
    }
}

結果

{
    "スタイル": "自然風",
    "キャラクター": {
        "種類": "犬",
        "雌雄": "雌",
        "毛の色": "茶白",
        "衣服": ""
    },
    "背景": {
        "植物": [
            {
                "種類": "花",
                "色": "白，黄，紫"
            },
            {
                "種類": "草木",
                "色": "緑"
            }
        ],
        "建物": []
    }
}

STEP1.バッチレンダリングするためのUSDファイルの書き出し

SOP

実際にはキャラクターのモデル

今回はgridをUV展開し、
SolarisにはSOPのマテリアルは使わないので必要ないですが、確認用のマテリアルをつけてます

Solaris

複数のキャラクターに対して共通で使うため、HDAの中でUSDファイルを出力する仕組みを作りHDAをロックをしておきます。

一つのHDAを更新したら、共通で使っている他のhipファイルのHDAも自動で更新されるようにするためです。

HDAの中身

Solarisに関して、まだ分かってないことが多いですが
なんとかレンダリングするための設定を埋め込んだUSDファイルの書き出しをしました

STEP2.TOPネットワークの構築

HDAにボタンを作成しておいてボタンを押したら、ここの処理が実行されるようにしておくと視覚的に処理が追いやすくなって便利です

pythonscript

並列処理されるのでこういう書き方になります

file = work_item.inputFiles[0].path

with open(file, "r", encoding="cp932") as f:
    text = f.read()

# コードブロック除去
text = text.replace("```json", "")
text = text.replace("```", "")
text = text.strip()

print(work_item.attribValue("filename"))
print(text)

最後に

VLMを使ったワークフローの構築に、取り組み始めたばかりですが
画像をHoudiniですぐに使えるデータに変換できるのは大きなメリットだと感じています。

引き続きVLMを活用し
今まで人の目に頼っていた作業を、どんどん自動化していきたいです。