1秒間に8枚の画像が生成できたら8fpsのリアルタイムでゲームが動かせるはず。。と思って色々と調べていたら、割と近いものを見つけた。
OASISというらしいが、WASDで動画を動かせるとのこと。
近いものを既存の仕組みで作れないかと試行錯誤。
まずは、LCMでやってみる。
とこうなる。。
コードはこんな感じ。
いまいち。。
プロンプトで前進処理を書いているのに、角度がどんどん変わっていく。
よくよく調べるとAnimateDiffをカメラ制御に使うのはよくないらしい。
SVDにするかGaussianにしてみるか。
Gaussianの場合は、範囲外の描画をどうするか？LLMで拡張させた上で、Gaussianやる？
続く