前回はForge Neoの画面項目について調べたね。
でもControlNet Integrated (コントロールネット統合機能)については詳しく調べてなかった。
なんだかControlNetだけでかなりの文章量になる気がしたので、記事を分けることにしたよ。
まずForge NeoのControlNet Integratedの全貌はこちら。
それぞれ何なのか調べていこうか。
ControlNet Unit
1. ControlNet Unit 1, 2, 3 の意味は？ 🔢
Stable Diffusionでは、
1枚の絵に対して「複数のControlNetを同時に（重ねがけして）効かせる」ことができるんだよ〜！✨
Unit 1：1つ目のControlNet（例：ポーズを固定する pose）🕺
Unit 2：2つ目のControlNet（例：線画や輪郭を固定する lineart）🎨
Unit 3：3つ目のControlNet（例：奥行きを合わせる depth）📏
「キャラクターのポーズも指定したいし、線のタッチも指定したい！」っていう時に、
Unit 1とUnit 2を同時に有効にして組み合わせたりするの！すごい便利でしょ？😆👍
2. Set the preprocessor to [invert] If your image has white background and black lines.
これは直訳すると…
「もしあなたの画像が『白い背景に黒い線』なら、
プリプロセッサーを [invert（反転）] に設定してね」っていう意味だよ！🤖💡
何でそんなことするの？🤔
AIのControlNet（特にCannyやLineartなど）は、
基本的に「黒い背景に白い線」の状態で読み取るのが得意なことが多いの！
でも、私たちが普段描く漫画の原稿やイラストは「白い紙（背景）に黒いペン（線）」だよね。
そのまま読み込ませるとAIがうまく線を認識できないから、
[invert]（色を白黒反転させる機能）をプリプロセッサーに挟むことで、
自動で「黒背景に白線」に変換してAIに読ませやすくしてあげるっていう親切機能なんだ〜！✨
もし自分で用意した下絵やコマの画像が「白地に黒線」なら、
この指示通りにプリプロセッサーを反転系（invert）にするか、
そういう設定にしておくとバッチリ綺麗に効くようになるよ〜！d(≧▽≦*
チェックボックス群
Enable（有効化）
このControlNetを動かすかどうかのスイッチ！ ☑️を入れると機能がオンになるよ。
Pixel Perfect（ピクセル・パーフェクト）
読み込ませた画像の解像度に合わせて、
ControlNet側の内部解像度を自動でいい感じに調整してくれる機能✨
これにチェックを入れておけば解像度のミスマッチを防げるよ！
Allow Preview（プレビュー許可）
プリプロセッサー（下処理）が画像をどう加工したか、
生成する前に画面上で確認（プレビュー）できるようにするボタン 👀💥
Use Mask（マスクの使用）
画像の一部分だけにControlNetを効かせたいときに使うエリア指定機能✂️
手法選択
🎛️ 一番上の丸いボタンたち（All, Blur, Canny...）の役割
これらは 「使う機能をワンクリックで切り替えるショートカット」 なんだよ〜！✨
例えば、今は 「Canny」 に青いポチがついているから、
下の「Preprocessor」や「Model」が自動的にCanny用の設定に切り替わっている状態だよ！
もしここを「OpenPose」に切り替えると、下のプリプロセッサーも一発でOpenPose用に変わるから、
めちゃくちゃ便利な切り替えスイッチなのだ〜👍
「画像のどこをどうやって読み取ってAIに伝えるか」という種類（手法）の名前だよ！
Blur（ブラー）
画像を「ぼかす」処理！全体のノイズを消したり、ざっくりした情報を渡したいときに使うよ🌫️
Canny（キャニー）
画像の「くっきりした輪郭・線画」をそのまま抽出する！線画をトレースさせたいときに超定番✨
Depth（デプス）
画像の「奥行き（手前と奥の立体感）」を読み取る📏
IP-Adapter（アイピーアダプター）
画像から「キャラクターの顔や服装の雰囲気」を高精度でコピーする超強力な仕組み🤖💕
Inpaint（インペインティング）
画像の一部を書き換えたり、修正・描き足すとき用✏️
Instant-ID（インスタントID）
1枚の顔写真から、別ポーズでも同じ顔のキャラを爆誕させる最新技術📸
Lineart（ラインアート）
イラストや漫画の「手描きの線」を綺麗に読み取る！漫画制作にめちゃくちゃおすすめ🎨
MLSD
建物などの「直線・パース（消失点）」をガッチリ検出する📐
NormalMap（ノーマルマップ）
凹凸や表面の立体的な向きを3Dっぽく読み取る🗺️
OpenPose（オープンポーズ）
人物の「骨格（関節の位置やポーズ）」だけを読み取る！
ポーズを完全にコピーしたいときに使うよ🕺
Reference（リファレンス）
ポーズじゃなくて「絵のスタイルや雰囲気」を参考画像に似せる🎨
Scribble（スクリブル）
大雑把な「落書き」から綺麗な絵を起こす🖍️
Segmentation（セグメンテーション）
背景、服、髪の毛などの「パーツ領域」に色分けして構造を指示する🧩
Shuffle（シャッフル）
元画像の色の傾向などを混ぜ合わせてスタイルを参考にする🌈
Sketch（スケッチ）
ラフなスケッチ画をベースにする時用✍️
SoftEdge（ソフトエッジ）
Cannyよりも柔らかいタッチやグラデーションを優しく抽出する☁️
T2I-Adapter（T2Iアダプター）
ControlNetの軽量・高速版みたいな仕組み⚡️
Tile（タイル）
高解像度のタイル状分割処理や、テクスチャの維持、画面全体の破綻防止に使う🧱
Region（リージョン）
画面の「このエリアにはこのプロンプト、こっちには別のプロンプト」みたいに
場所ごとに指示を分ける機能🗺️)
Preprocessor（プリプロセッサー）
canny が選ばれてるね！これは画像の輪郭（線画）を抽出する下処理だよ。
Model（モデル）
None になってる！ここをちゃんとCanny用のモデルファイルに合わせないと
ControlNetが効かないから注意してね〜！⚠️
Control Weight（コントロール・ウェイト）
効き具合の強さ！数値を上げると元画像に忠実になり、
下げるとAIの自由度が高くなるよ（通常は 1.0 前後でOK）💪
Timestep Range（タイムステップ・レンジ）
画像生成のどのタイミング（最初から最後まで）でControlNetを効かせるかの範囲設定だよ。
通常はいじらなくて大丈夫！
Resolution（レゾリューション / 解像度）
Preprocessorが画像を解析するときの解像度。高いほうが細かい部分まで読み取れるよ🔍
Low Threshold / High Threshold（ロー/ハイ・スレッショルド）
数値が 100 と 200 になってるね。これはCanny専用の調整バーで、
「どれくらい細かい線を拾うか」の感度を調整するよ！
線を減らしたいときは数値を上げたりして調整するんだ〜🎚️
🎛️ Control Mode（コントロール・モード）の選び方
プロンプトとControlNetのどっちを優先するかを決めるよ！
Balanced（バランス）
プロンプトとControlNetをいい感じに両立させる（迷ったらこれ！）⚖️
My prompt is more important（プロンプト優先）
指示したプロンプトを優先しつつ、形だけControlNetに合わせる✨
ControlNet is more important（ControlNet優先）
元画像の形やポーズを何がなんでも完全に死守する🔒
📐 Resize Mode（リサイズ・モード）の選び方
読み込ませた画像の縦横比と、生成する画像の縦横比が違うときにどう合わせるか！
Just Resize（そのままリサイズ）
縦横比を無視して無理やり合わせるから、画像がちょっと伸び縮みしちゃう💦
Crop and Resize（切り抜いてリサイズ）
はみ出た部分をカットして、比率を合わせて綺麗に収める✂️（おすすめ！）
Resize and Fill（リサイズして埋める）
余ったスペースに背景などを自動で描き足して比率を合わせる🎨
Never OOM Integrated
「OOM」っていうのは 「Out of Memory（メモリ不足エラー）」 のこと！
つまり、「グラフィックボード（VRAM）のメモリが足りなくなってエラーで
強制終了しちゃうのを防ぐための救済機能」 なんだ〜٩(ˊᗜˋ*)و
それぞれのチェック項目の意味をサクッと教えるね！👇
Enabled for UNet (always offload)
画像生成のメインの頭脳（UNet）を、使わないときは
こまめにメインメモリ側に追い出す（オフロードする）設定！
VRAMの節約になるから、VRAMが少ないパソコンで大きめの画像を生成するときに
めちゃくちゃ助かるよ✨（その代わり少し生成スピードが落ちることがあるよ）
Enabled for VAE (always tiled)
画像の最後の仕上げ（エンコード・デコード）をするVAEの処理をタイル状に分割して行う設定！
高解像度の画像を生成するときに起きやすい「VRAMパンク（メモリ不足エラー）」を防いでくれるよ🧩
「最近よくメモリ不足エラーで止まっちゃうな〜」ってときは、チェックを入れておくと安全装置になるよ〜！👍💖
ImageStitch Integrated
画像をアップロードして、カスタム解像度でのテキスト生成（txt2img）や動画生成（Wan 2.2 I2Vなど）の時に特殊な効果を与えるための機能だよ！
---
📷 上部の解説と画像アップロード部分
ImageStitch Integrated（チェックボックス）
この機能を有効にするメインスイッチ！
対応しているモデルの例: Flux.1-Kontext、Flux.2-Klein、Qwen-Image-Edit、Anima Edit、Krea2 Edit、Wan 2.2 I2V など
Reference Image(s) / 上の大きなアップロードエリア
参照させたい画像をドロップまたはクリックしてアップロードする場所だよ！
txt2imgの時にカスタム解像度で「空の潜在空間（empty latent）」の効果を得たり、
動画生成（Wan 2.2 I2V）で「最後のフレーム（Last Frame）」として設定して
動画を繋げる（LastFrameToVideo）ために使うよ。
実際には画像を縫い合わせる（stitch）わけではなく、
下の「Image to Upload」を使って画像を貼り付ける仕様だよ。
---
🎛️ 右側の管理ボタンたち
Append Pasted Image（貼り付けた画像を追加）
クリップボードから貼り付けた画像などをリストに追加するよ。
Replace Selected Image（選択した画像を置き換え）
すでに選んでいる画像を、新しくアップロードした画像に差し替えるよ。
Delete Selected Image（選択した画像を削除）
リストから選んでいる特定の画像を1枚だけ消去するよ。
Clear All References（すべての参照をクリア）
アップロードしてある参照画像をすべて一括で消去するよ。
---
📏 一番下の設定バー
Maximum Side Length（最大辺の長さ）
エンコードする時のVRAM（メモリ）消費を抑えるために、
画像の長辺の最大サイズを制限する設定だよ！すべての参照画像に適用されるよ。
デフォルトは `1024` になっていて、制限をなくしたい場合は `0` に設定するよ。
通常のControlNet（Lineartなど）を使う分にはあまり頻繁に触らない機能だけど、
特定の最新モデルや画像・動画の連携を行うときにお世話になるパネルだよ〜！٩(ˊᗜˋ)و✨
Spectrum Integrated
画像生成の計算を数学的な多項式などで効率化（キャッシュや予測）して、画質をなるべく落とさずに生成スピードを爆速にしたり、メモリを節約したりするための超マニアックな設定項目だよ！
それぞれの項目の意味を分かりやすく教えるね！👇🤖
---
🎛️ Spectrum Integrated の設定項目一覧
Spectrum Integrated（チェックボックス）
このSpectrumによる高速化・最適化機能を有効にするメインスイッチだよ！
Prediction Weighting（予測の重み付け）
AIが次のステップを予測するときの重み。
高くすると「長期的なトレンド（全体の構図など）」を重視し、
低くすると「短期的な変化（細かいディテール）」を重視するよ。
Polynomial Degree（多項式次数）
近似計算に使う多項式の次数。
高くすると「複雑で繊細なパターン」を再現でき、低くすると「安定してより高速」になるよ。
Regularization（正則化）
行き過ぎた最適化やオーバーフィッティングを防ぐためのブレーキ。
高くすると「過学習（崩れ）を減らし」、低くすると「より多くのデータに無理やり合わせる」よ。
Cache Window（キャッシュ・ウィンドウ）
計算結果をキャッシュ（保存）して使い回す範囲。
高くすると「多くのステップをスキップして高速化」し、
低くすると「スキップを減らして遅くなるがより正確」になるよ。
Window Growth（ウィンドウの拡大）
キャッシュウィンドウを広げる度合い。
高くすると「スピード重視で正確さが少し落ち」、
低くすると「一貫した正確さを保てるが速度の恩恵は減る」よ。
Warmup Steps（ウォームアップ・ステップ）
キャッシュ機能を始める前に、フルモデルでしっかり計算を行う初期ステップ数。
最初の一歩をしっかり踏むことで、後からの計算が安定するよ✨
Stop Caching Step（キャッシュ停止ステップ）
生成の終わりの方でキャッシュをストップするタイミング（全体を1としたときの割合）。
最後の数ステップはキャッシュを使わずフルモデルで計算することで、仕上げの画質を綺麗に保つよ。
Presets
お気に入りの設定を保存して、いつでも呼び出せるようにするための機能だよ！
Preset Name（ドロップダウン/入力欄）
保存したプリセットの名前を選んだり、新しい名前を入力して保存するための欄だよ。
Apply Preset（プリセットを適用） （左のボタン）
選択したプリセットの設定内容を、現在のControlNetにパッと反映させるボタンだよ。
Save Preset（プリセットを保存） （真ん中のオレンジのボタン）
今いじっているControlNetの設定（モデルや重み、数値など）を、新しい名前で保存するボタンだよ。
Delete Preset（プリセットを削除） （右の赤色のボタン）
選んでいる不要なプリセットを削除するボタンだよ。
Script
通常の1枚ずつの生成とは違って、
「自動で一括生成したり、条件を変えて比較画像を作ったりする便利機能」を選ぶことができるよ！
---
📜 Script（スクリプト）の選択肢一覧
None（なし）
特殊なスクリプトを使わず、通常のふつうの画像生成をするモード。（普段はこれでOK！）
Prompt Matrix（プロンプト・マトリックス）
`1girl, cat ears, wings` などを「どれを入れるか・入れないか」の組み合わせごとに、
一気にたくさんのパターンを生成して比較する機能！
Prompts from File or Textbox（ファイルまたはテキストボックスからのプロンプト）
改行ごとに違うたくさんのプロンプトを用意しておいて、
それを順番に自動で読み込ませて大量生成するための機能。
X/Y/Z plot（X/Y/Z プロット）
ステップ数、CFGスケール、モデル、プロンプトの一部などを少しずつ変えながら、
縦・横・奥行きの表（グリッド画像）にして一度に比較・検証できる機能だよ。
やってみよう！
この記事を参考にControlNetを実行してみた。
ふんふんなるほど……
結果はこれ。
えっ、全然できてないじゃん。
何かおかしいんだろうなあ……。
あっ、ControlNetのモデルが違うじゃん。
参考元記事と同じモデルにしよう。
それにチェックポイントとVAEも違う。
参考元記事に合わせよう。
できた。
SD 1.5系のチェックポイントなら、このやり方でできるらしい。
でも望んでいるのはAnima系のチェックポイントなんだ。
他のやり方を模索する必要がありそうだなあ。