1
0

More than 1 year has passed since last update.

StableDiffusionとFILM( Frame Interpolation for Large Motion)を使ってアニメーション生成プログラムを作ってみた

Last updated at Posted at 2022-09-06

text2animation

ちまたで話題となっているテキストから画像を生成するAI「StableDiffusion」と2つの入力画像から複数の中間フレームを合成するフレーム補間アルゴリズム「FILM: Frame Interpolation for Large Motion」を用いて、StableDiffusionで作成した画像を使ったアニメーションを生成するプログラム”text2animation”を作ってみました。

GoogleColaboratory上で動作します。
https://colab.research.google.com/github/noriakihanya/text2animation/blob/main/text2animation.ipynb
※「StableDiffusion」への入力は日本語にも対応

デモ

org_ezgif.com-gif-maker.gif

使用方法概略

  • Access Tokensの取得
    まずはHuggingFaceのサイトでアカウントを作成し、CompVis/stable-diffusion-v1-4へのAccess Tokensを取得
    https://huggingface.co
    画面右上のアカウントのアイコンから[Settings]->[Access Tokens]に移動しTokenをコピーする
スクリーンショット 2022-09-05 16 46 36 スクリーンショット 2022-09-05 16 47 42
  • Access Tokensの入力
    コピーしたAccess Tokensを入力する
スクリーンショット 2022-09-05 16 50 47
  • FILMの学習済みモデルのロード
    FILMのモデルはColabからダウンロードできないため、GoogleDriveのMyDriveにモデルのショートカットを追加しロードできるようにする
スクリーンショット 2022-09-02 15 23 41 スクリーンショット 2022-09-02 15 24 07
  • 生成したい画像イメージを入力
    日本語入力に対応しているため、'日本語入力'か'英語入力'を選択する
    英語入力にはあらかじめいくつか選択肢を用意しているが、任意の文字列を入力することも可能
スクリーンショット 2022-09-05 16 43 16
  • アニメーションの再生時間を入力
スクリーンショット 2022-09-05 16 44 57
  • Real-ESRGANによる高解像度処理
    オプションとして、Real-ESRGANによる高解像度処理が使用できます。
スクリーンショット 2022-09-05 17 04 04

最後に

生成した画像がアニメーションでは一瞬で通りすぎてしまうので、生成画像が長く再生されるよう調整したい。
また、アニメをもっと簡単に編集できる機能も付けてみたい。

参考サイト

https://www.12-technology.com/2022/08/stable-diffusion-aipython.html
https://www.12-technology.com/2022/02/film.html

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0