0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Minimax-H3の覚え書き2

0
Posted at

Minimax H3の技術的なメモを残す。

前回

参照動画長さの制約

VAEは17フレームずつ処理する。17フレームに満たない場合は末尾フレームをコピーしたpad_frameと結合し17フレームとする。VAEに通した後17k+17→5k+5となり、最後にlatentを3dropして5k+2とする。
このためVAE自体は参照動画が17k+1でも17k+16でも処理出来る。

    def encode_temporal(self, x, device):
        # chunked input io: x may live on the CPU, clips move to the device as they encode
        z_list = []
        for i in range(math.ceil(x.shape[2] / self.clip_length)):
            clip_x = x[:, :, i * self.clip_length:(i + 1) * self.clip_length, :, :].to(device)
            if clip_x.shape[2] < self.clip_length:
                pad_frames = clip_x[:, :, -1:].repeat(1, 1, self.clip_length - clip_x.shape[2], 1, 1)
                clip_x = torch.cat([clip_x, pad_frames], dim=2)
            z_list.append(self._adaptive_encode(self._normalize_pixels(clip_x)))

        z = torch.cat(z_list, dim=2)
        if self.token_drop > 0:
            z = z[:, :, :-self.token_drop]
        return z

しかしながら、ref2vaのノード上、参照動画長さには不当な制約を受ける。
それが以下の部分でフレーム長さを1フレームずつ減らしていって17で割った余りが5になるまで繰り返す。
この場合、例えば参照動画が17k+4だと末尾16フレーム(0.67[s])が捨てられる。
17k+4なら末尾フレームを1フレームコピーして17k+5にした方が近いと思うのだが、お構いなしである。

class MiniMaxH3ReferenceToVideo(io.ComfyNode):
...
        for name, video_frames in (ref_videos or {}).items():
...
            while n % 17 != 5:
                n -= 1
            frames = frames[:n]

つまりVAEは17k+1~17k+4ではpad_frameで端数を上に繰り上げてくれるのにref2vaノードでは切り捨てしかしないので無駄が多い。17k+5~17k+17の場合は共に末尾切り捨てでいいのだが。

image.png

生成動画長さを参照動画長さから決定する

参照動画の取り出しはVideoHelperSuiteを使用している。
その時、Minimaxの仕様に厳密に従うなら参照動画を17k+5となるように切り取って、その値を生成動画の長さに毎回代入する。
しかし、この計算は毎回面倒である。特に4k+3程度なら毎回暗算で計算できるが、17k+5を頭の中で計算するのは大変である。(124、107、90frameくらいは覚えているが他は…)。しかも、参照動画長さと生成動画長さの二か所に入力する必要があり、入れ忘れに気づくと生成が無駄になる。

「参照動画」の動画長さ「frame_count」が与えられた場合、「生成動画」の動画長さが自動計算で17k+5となるように設定したい。この時、参照動画長さが17k+5でなくても問題ない。

参照動画は17k+5でなくてもまあ処理される。従って参照動画長さから生成動画長さを17k+5とするノードを追加する。例えば例として以下である。

image.png

image.png

利点は生成動画のフレーム数をいちいち計算しなくてもよい点である。
現行のref2va仕様なら((a-5)//17)*17+5とすべきだし、端数切捨てをやめて17k+1~17k+4では繰り上げるようなVAE仕様にref2vaノードを改変する場合は((a-1)//17)*17+5とすべきだろう。

Minimax H3のshift値

現行はvideo_shift値はデフォルトで12である。
これを変えればMinimax h3のvideo_shift値を調整できそうに思う。
たとえばこれを7にすることを考えてみよう。

image.png

しかし、一つ迷う点がある。
「Basic Guider」 と 「Basic Scheduler」 のどちらの前に挿入すべきかという点である。
最初、8step LoRAをBasic Guiderの前に挿入していたため、このLoRA読み込みの後にShigma shiftを挿入した。しかし、よくよくshiftの効能を考えてみればこのshift値はSchedulerにこそ必要なパラメータである。

image.png

seed値を固定し、video_shift=7を挿入した時、挿入場所を①なし、②Basic Guider前、③Basic Scheduler前、あるいは④両方とした場合、①~④は全部結果が違っていた。
厳密には①と②はよく似ていて、③と④もよく似ていた。一方、②と③は明らかに違っていた。

shift値の変換

推論ノードで以下の様な二個のshift値を使うsigma変換関数がある。

comfy/ldm/minimax/model.py
def time_shift_sigma(sigma, from_shift, to_shift):
    # invert sigma = s*b/(1+(s-1)*b) to the base grid, re-apply the other shift
    base = sigma / (from_shift + sigma * (1.0 - from_shift))
    return to_shift * base / (1.0 + (to_shift - 1.0) * base)

基本的なtimestepのshift値変換は

t'=\frac{st}{1+(s-1)t}

である。さて、sの位置に1/sを代入した変換を考えよう。

t'=\frac{\frac{1}{s}t}{1+(\frac{1}{s}-1)t}=\frac{t}{s+(1-s)t}

この変換はshift値sのsigmaをshift値1に戻す変換である。
こうやってshift=1のsigmaを中継することでshift=12→shift1→shift=3を変換できる。(一見遠回りに見えるが)
こうしてsigma_videoはnode外側(BasicSchedular)で作ったsigmaをそのまま使い、sigma_audioはsigma_videoとvideo_shiftとaudio_shiftから作られる。つまり、推論ノード内ではsigma_videoにvideo_shiftは使われず、video_shiftの値はsigma_audioにしか影響を与えない。

comfy/ldm/minimax/model.py
    def forward(self, x, timestep, context, transformer_options={}, minimax_payload=None, denoise_mask=None, audio_denoise_mask=None, **kwargs):
        # the sampler carries the audio as (sigma_v / sigma_a) * x_audio; undo it outside
        # the wrappers so they and the network see the stream's own latent and velocity
        scale = float((minimax_payload or {}).get("audio_scale", 1.0))
        audio_src = x[1]
        if scale != 1.0:
            shift_v = float(transformer_options.get("minimax_h3_sigma_shift_video", self.sigma_shift_video))
            shift_a = float(transformer_options.get("minimax_h3_sigma_shift_audio", self.sigma_shift_audio))
            sigma_v = (timestep.flatten()[0] / 1000.0).float().clamp(min=1e-6)
            sigma_a = time_shift_sigma(sigma_v, shift_v, shift_a)
...

先ほどのvideo_shiftの挿入場所を議論するとBasic Schedulerはsigmaを渡すがshiftを渡さないとすると。

①挿入なし:video_shift=12, audio_shift=12×1/12×3=3
②Basic Guider前:video_shift=12, audio_shift=12×1/7×3=36/7=5.14
③Basic Scheduler前:video_shift=7, audio_shift=7×1/12×3=7/4=1.75
④両方:video_shift=7, audio_shift=7×1/7×3=3
となるのではと推測する。
①と②、あるいは③と④が僅かに異なるのはaudio_sigmaの影響によるものではないかと思った。

蒸留LoRAでのshift値

MinimaxH3の4step LoRAなどで低いshift値(6とか)を見ることがある。
あるいはFast H3で[999, 749, 500, 250]を見たが、これはほぼshift=1である。

特定の高速化LoRA(あるいは低stepの推論)においてshift=12は大きすぎる可能性はある。

参照画像の影響を知るための実験

前回の記事の最後で参照画像の影響を測るための手法を書いた。

その後、実際にその実験をやってみた。
その際に、詰まった点について述べる。
記事を書いた時点ではminimax h3で以下の様な「start_at_step」と「end_at_step」が指定できるノードを3段用いて1,2stepはノード1、3stepはノード2、4~8stepはノード3のようにすればいいと思っていた。しかし、実際にやってみるとminimax h3はこのノードでは動かなかった。

image.png

Basic Scedulerは開始stepと終了stepが設定できないのでManualSigmasを手動で指定し、開始sigmaと終了sigmaを指定する。ここでsigmaのlist長さがn+1の場合、その間のn回の推論がなされる。また、最後のsigmaに0.0を追加しないといけない。
あとKSamplerはres_mではなくeulerの方がいい。
推論条件cond1は参照画像ありで、cond2は参照画像なし、promptには参照画像のcaptionなしである。
cond1が1段目と3段目、cond2を2段目に入れる。

image.png

sigmaはこんな感じでstepとshift値から自分で求めた。

import numpy as np

for n in [8]:
    for s in [7, 12]:
        t = np.linspace(1, 0, n+1)
        t2 = (s*t/(1+(s-1)*t))[:-1]
        print('step=%d, shift=%d, t=' % (n,s), t2)
------------------------------
step=8, shift=7, t= [1.         0.98       0.95454545 0.92105263 0.875      0.80769231
 0.7        0.5       ]
step=8, shift=12, t= [1.         0.98823529 0.97297297 0.95238095 0.92307692 0.87804878
 0.8        0.63157895]

ちなみにshift=7では0.92が4step目、shift=12では0.92が5step目である。
shiftが大きいほどhigh_noiseで細かく、low_noiseで大きく動く。
shift値はhigh_noiseとlow_noiseで推論stepをどちらを優先するかを決めるだろう。

このように二段や三段の推論が可能なことを考慮するならばWan2.2のようにhigh_noiseやlow_noise領域のみ特定LoRAの適用をminimax_h3でも可能である。例えばキャラクターLoRAを1~4step目のみ適応するとか。

なお後で知ったが、SplitSigmasを使えば上記のようにマニュアルでshiftしたsigmaを設定せずとも何とかなったのかもしれない。

image.png

結果

作成した動画は貼らないのだが、step=8、shift=7の時、特定stepの参照画像を除いた。なおこの時、参照画像のCaptionはpromptに含まれていない。
参照画像のキャラクター性は1step目か3step目を除いた時に大きく劣化した。その次に変化が大きかったのは2step目で、その次が4step目だった(4step目は僅かだったが)。逆に5~8step目の参照画像を除いても結果は全く変わらなかった。(4step目のsigma=0.92)

一方、step=20,shift=7ではその前のsigmaで参照画像の変化が無くなった。
つまり、sigma=0.92よりも早めに参照画像の影響が無くなった。具体的にはsigmaが0.94か0.95以降で参照画像の影響が消えた。もっとも推論step数が増えたことでtimestep進みが小さくて影響が目視出来なかっただけかもしれないが。

参照動画の場合(step=8,shift=7)は1,2stepで参照動画を消すとモーションが消え、3stepではモーションが僅かに変化した。反面4~8stepのいずれかの参照動画を消してもモーション自体は変わらなかった。(僅かにスタイルも変化しているように見えるが、良く分からない。少なくともモーションよりはlow_noise側に感じる。似たような結果になった4~8stepの中では最後の8step目がスタイルの影響が小さく、4~6stepあたりがスタイルの変化が見受けられた)

まとめるとshift=7, step=8において参照の影響は
モーション(動画):1,2step大、3step小、4~8stepほぼなし
キャラクター性(画像):1,3step大、2step小、4step僅か、5~8stepほぼなし
スタイル(動画):1~3step不明、4~6step小?、7step僅か?、8stepほぼなし?
t=[1.0, 0.98, 0.95454545, 0.92105263, 0.875, 0.80769231, 0.7, 0.5](shift=7, step=8)

ref2vaのprompt

自分のref2vaを試みた試行錯誤を記しておく。
公式promptガイドにはあまり従っていない。
前回記事で書いた内容も含まれる。

まず、解像度の高い参照動画を入力すると生成動画が0.4MPであってもノード内で参照動画は0.98MPまでしかリサイズされないので非常に重いか、自分の環境(4070)だと止まる。参照動画をref2vaノード入力前に生成動画と同じサイズにリサイズする必要がある。(4090,5090の人は必要ないです)
ちなみに生成動画と同じサイズの参照動画を追加した場合、通常のT2VAの2倍かかります。解像度が高ければもっと。

最初、ref2vaを試した時、適当な参照動画1個と適当な参照画像1枚を渡し、参照動画の人物を参照画像の人物に置き換えようとしてみた。しかし、これは全く上手くいかなかった。生成される動画はほぼ参照動画そのままであった。あるいは参照画像は無視され、参照動画の登場人物が参照動画と別の動きをする。

次に以下の様な公式promptガイドを読んで、煩雑な思いをしながらも<Subject 1>がどうだの<Video 1>がどうだの追記していった。しかしながら、それでも生成動画は参照動画そのままか参照動画の動きがかわるだけであり、変化はなかった。このため一旦はprompt記述は意味があるのかどうか懐疑的になった。

次にpromptを"Replace the girl in the <Video 1> with the girl in the attached <Picture 1>."とシンプルにした上で適当に参照動画とか参照画像をいくつか入れ替えて場当たり的に試して見た。

すると、いくつかの参照動画あるいは参照画像の組み合わせで発生確率は低いもののキャラクターの置き換えが発生してるのに気づいた。この時の成功した参照動画はワンカットであり、思い返せば失敗していたカットは複数カットであった。

また参照画像でも反映されやすい画像と反映されにくい画像があった。これは参照動画との相性なのかもしれないが、相性のいい画像とは2/4成功したが、相性の悪い画像とは0/4であった。

その後、自分は同一の参照画像を複数入力するのを試したところ体感成功率が向上したように感じた。あるいはComfyUIノードで画像を水平反転したのを入力したりした。

複数人を置換する場合、"Replace the two girls in the <Video 1> with the two girls in the attached <Picture 1> and <Picture 2>."と人数を指定することで改善することもあった。

しかし、この時に肝心のpromptは失敗した苦い記憶を元にpromptの重要性については懐疑的になっていた。事実、人力でpromptのガイドに従う英文を書くのは大変である。
あるいはref2vaでは参照画像(リサイズされた画像)と参照動画(2fpsの複数枚画像)はref_itemsとしてTextEncoder(qwen3VL32B)に渡されるため、参照画像の内容がtext tokenに作用され、このtext_tokenがcondの一部となる。(VAEを通したlatentもまたcondとなるがそれとは別で)

            ref_items.append({"type": "image", "data": resized})
...
            # Qwen sees the video at 2 fps with timestamps
            sample_idx = list(range(0, frames.shape[0], FPS // 2))
            qwen_frames = frames[sample_idx]
            ref_items.append({"type": "video", "data": qwen_frames,
                              "timestamps": [i / 2.0 for i in range(len(sample_idx))]})
 
...
        tokens = clip.tokenize(prompt, minimax_ref_items=ref_items)
        cond = clip.encode_from_tokens_scheduled(tokens)

このため人力で参照画像のCaptionを入力しなくても、condのtext tokenは参照画像の中身を把握しているのではと思った。
しかし、結論を言えば参照画像や参照動画の説明をpromptに追加するのは有効であった。

例えば参照動画に三人が登場し、参照画像三枚を入力してそれぞれ人物を置き換えたいとする。これは人物を置き換えろといった単純なpromptだけではかなり難しく、一枚目の参照画像の人物は比較的反映されやすいが、三枚目の参照画像の人物が反映される確率はかなり低かった。

ここで参照画像の人物の、髪型、髪色、服装、程度の簡単なCaptionを渡すだけで参照人物が動画に登場しやすくなった。(もっとも動画に参照画像の人物が登場しやすくなるだけであって、100%置き換えが成功するわけではない)

Replace three girls in the <Video 1> with three girls in the attached <Picture 1> and <Picture 2> and <Picture 3>.

<Picture 1> is girl, long black hair,...
<Picture 2> is girl, ...
<Picture 3> is girl, ...

The background is ...

さらにVideo 1の登場人物描写を除く動画の動きのCaptionを追加することで改善する場合もあれば、却って悪くなることもある。悪くなる例では参照動画Captionが簡易的なゆえに、生成動画が参照動画よりもシンプルな動きに固定化されてしまう。この場合は人物置き換え指示と人物Captionと参照動画の背景のCaptionだけの方がいい。

そして、最後はガチャである。
16~32回くらいやればいくらかは惜しいのが出るだろうから動画に足りない箇所を追加すればいい。惜しいのすらでない場合は参照動画が難しすぎるので一旦、他の参照動画をやればいい。

という感じで自分はpromptガイドをあまり厳守していないが、結構厳密でなくてもref2vaは出来るものである。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?