【メモ】Blender上でテクスチャをAI生成させ、ローモデルへベイクする

Blender上でComfyUIを駆動させテクスチャを自動生成するStableGenを使い、ハイモデルに対して生成させたテクスチャをローポリゴンモデルへテクスチャをベイクした。
ここではその手順をメモ書きとしてまとめる。

ComfyUI（ポータブル版）のセットアップ方法はこちら
https://qiita.com/HOS_Giken/items/d2fe062cfb5e779f2e95

StableGenのセットアップ方法～テクスチャのベイクまで（ブーツ）はこちら
https://qiita.com/HOS_Giken/items/6f15bc681733d11c4f87

参考記事

以下の記事を参考に実施させていただいた。
https://note.com/sao_kwzkr/n/nbc1bac9ea481
大変参考になった記事だ。この場で感謝申し上げたい。

概ねの操作・ベイク手順も上記参考記事と同様
本記事ではもう少し詳細なオペレーションを補足的に記載させていただく。

StableGenで元のモデルにテクスチャを生成

StableGenでのテクスチャ生成行程は以下を参照
https://qiita.com/HOS_Giken/items/6f15bc681733d11c4f87

• この時点でのモデルはハイポリモデルが望ましい
• ハイモデルのUV展開はStableGen内で実行できる
  • きれいなUV展開は期待できないが、どうせベイクするので気にしない

メモ：

この時点ではまだPBR化してベイクしない

• StableGen上でPBR化してベイクすることはできる
  • https://x.com/hos_giken/status/2059731800315032037
  • ただし生成に時間がかかること
  • 後工程でテクスチャをPBR対応できるので、あえて今は行わない

StableGen内でのテクスチャベイク機能について

• StableGen上でのテクスチャベイク
  • StableGen上でのテクスチャベイクは、現時点ではどうも結果が安定しない。（2026/05/30時点）
  • ローモデルに対してStablegenでテクスチャを生成→直にStableGen内でテクスチャのベイク…というフローも可能だが…、上記の理由によりオミット
  • またハイモデルの詳細な形状からノーマルやAOも焼きたいので、やはりハイモデルでテクスチャ生成→ローモデルへベイク…という手法を今回は採択

PAWS:Bakeryでローモデルへテクスチャをベイク

Blender内でのテクスチャベイクは無料プラグイン「PAWS:Bakery」を使用した。
PAWS:Bakery
https://extensions.blender.org/add-ons/paws-bakery/

メモ：

PAWS:Bakeryのつかいかた

メッシュの命名規則

以下のような命名規則を守っておくと、この後のベイク設定作業が楽になる

• ハイモデル：＜任意の文字列＞_high
• ローモデル：＜任意の文字列＞_low

ベイクセットを作成する

• 最初にベイク設定を格納保存するセットをTool上で作成する
• ベイク対象の登録
  • ノードを選択し、「+」ボタンで登録できる
    • このとき、前述の命名規則を守っておくと、階層構造のような見た目になる
      

ベイクするテクスチャの設定

• PBR向けのベイクは行わず、アルベド（ベースカラー・ディフーズとも)成分としてベイクする
• 「emit」としてベイク
  
  • emitとしてベイクすると、アルベド成分風のテクスチャがベイクできた
  • emit(color)だと、エラーになった

ベイク実行とベイク結果の確認

• 「high to low」チェックボックスをON
  
  • 前述の命名規則を守っておくと、自動的にhigh→lowへテクスチャがベイクされるようになる
• テクスチャの接続は手動で
  
  • 「マテリアルを生成」チェックボックスをONにしていても、マテリアルにテクスチャが接続されない場合アリ
    • （未検証）テクスチャの命名規則に起因するかも
  • ベイク結果のプレビューには手動でのテクスチャアサインするつもりでいたほうが安定だ

今後の予定

今回はハイモデルに対し、StableGenとComfyUIによってAI生成させたテクスチャをローモデルへベイクするまでが実現できた。
次のステップでは、今回ベイク生成したalbedoテクスチャをPBR成分に分解するフローを検証したい。

１枚のテクスチャからPBR成分に分解するフローについては、以下を検証する。

• いくつかリリースされているサービスがすでにある
• 構築済みの生成AIワークフローがある
• 直近ubisoftからオープンソースで公開された「Chord」も
  • https://github.com/ubisoft/ubisoft-laforge-chord
  • ただし、研究目的のライセンスのため、商用には難ありと思われる
    • https://github.com/ubisoft/ubisoft-laforge-chord/blob/main/LICENSE

Ubisoft Machine Learning License (Research-Only - Copyleft)
This license governs the use, reproduction, and distribution of the Licensed
Materials, including AI Models and associated source code for the sole purpose
of scientific research. By accessing, downloading or using the Licensed
Materials, you hereby accept to be bound by this [Ubisoft Machine Learning
License (Research-Only - Copyleft)] agreement (hereinafter the “License”).

---