はじめに
生成系AIのデモと、AIによるAR合成のデモを4つ公開しました。
(サイズ的にQiitaには張れないので、YouTubeに置いています)
1. シングルショット画像からの無限画像生成
こちらはSinGANによるシングルショット画像からのサンプリングのデモです。SinGANは高解像度にすると処理が重いので、低解像度で出力したものを超解像で高解像度化しました。
学習に画像1枚しか使用しないので、同じようなパターンが繰り返されるのがデメリットではありますが、特定の画像をベースにちょっとしたゆらぎだけを表現したい場合など、ユースケースによってはむしろ制御しやすいとも言えますね。
2. SkyAIによるAR合成
こちらは以前「AIで遊べるデモサイト AI World3」で紹介したARのデモを動画にしたものです。
元動画に対して空の領域をセグメンテーションで検知し、検知した領域を任意の素材で置き換えています。
任意の動画と画像の組み合わせで、各素材のモーションを合わせたAR合成を自動化できます。
3. 生成AIによる無限生成とズーム
こちらはStableDiffusionによる無限インペイントのデモです。
任意のテキストから初期画像を生成し、「画像を縮小」→「外側をマスク」→「インペイントで予測」を繰り返し、生成された画像群を逆再生する事で、無限にズームしていくような動画が作成できます。
最後だけ逆再生せずにそのまま再生する事で、ひたすら後ろに下がって行くような動画にしています。
4. 生成AIによる無限生成(ズーム+並行移動)
こちらもStableDiffusionによる無限インペイントのデモです。
上記のズームに加えて、元のコードを修正して、上下左右と斜めの8方向にも移動できるようにしました。任意の方向に動きながら世界を生成する事ができます。