More than 1 year has passed since last update.

株式会社オーイーシー

Livebook から Hugging Face に画像生成アプリ（GPU対応）をデプロイする

Last updated at 2023-05-23Posted at 2023-05-23

はじめに

Livebook Launch Week 1 - Day 4 では、 Jose が音声チャットのアプリを Hugging Face にデプロイしていました

私は画像 AI 大好きなので、 Stable Diffusion による画像生成アプリを Hugging Face にデプロイしてみます

ただし、 Stable Diffusion は非常に重いモデルであるため、 CPU 環境で動かすと、1回の画像生成に10分以上かかってしまいます
（以前、ローカルの CPU で実行した例はこちら）

そこで、今回は Hugging Face にお金を払って GPU を使います

実装したノートブックはこちら

Hugging Face とは

トップページには "The AI community building the future." （未来を築く AI コミュニティー）と書かれています

つまり、 AI エンジニアのためのコミュニティーサイト、というわけなのですが、その機能が非常に強力です

GitHub のようにコードや学習済モデルの管理・共有ができる上に、 Fly.io のようにアプリケーションのプラットフォームとして使うこともできます

まだアカウントを作っていない人は、トップページ右上の "Sign Up" から、まずは無料でアカウントを作りましょう

支払い設定

Hugging Face でコンテナを動かす場合（スペース）の料金表はこちら

CPU Basic であれば無料で使えますが、それ以外は有料です

今回は Nvidia T4 - small を使いたいので、まず Hugging Face の支払い設定をします

ログイン後のトップページ右上の自分のアイコンをクリックし、 "Settings" を開きます

設定画面が開くので、左メニューから "Billing" を開きます

まだ支払い設定をしていない場合、支払い情報を更新するように求められます

"Payment information" タブを開き、 "Add a payment method" ボタンをクリックしてください

クレジットカードの情報を入力し終えると、支払い情報が以下のように表示されます

スペースの作成

Livebook を動かすためのスペースを作ります

トップページ右上の自分のアイコンをクリックし、 "New Space" を開きます

Space name に適当な名前（この例では "livebook"）を入れ、 Space SDK に "Docker"、 Docker template に "Livebook" を選択します

Space Hardware で "Nvidia T4・4vCPU・15GB・$0.60 per hour" を選択します
（遅くてもいいから無料がいい場合、 CPU の最小を選択してください）

コンテナのビルドが開始され、数分待つと以下の画像のように一番下に Livebook の URL が表示されます

URL の末尾 ?token= の後にあるトークンをコピーしておきます

ここで "CUDA Version 11.8.0" の文言が確認できます

ログパネルの右上 "x" をクリックし、ログを閉じます（後で開き直すこともできます）

左側に Livebook の認証画面が表示されるので、コピーしておいたトークンを入力し、 "Authenticate" ボタンをクリックします

すると、見慣れた Livebook のホーム画面が表示されます

アプリケーションの実装

Livebook ホーム画面の右上 "+ New notebook" ボタンをクリックし、新しいノートブックを開きます

"Notebook dependencies and setup" と書かれているセットアップセルに以下のコードを入力し、実行（セルの左上 "Setup" をクリック）します

Mix.install(
  [
    {:kino_bumblebee, "~> 0.3.0"},
    {:exla, "~> 0.5.1"}
  ],
  system_env: [
    {"XLA_TARGET", "cuda118"}
  ],
  config: [nx: [default_backend: EXLA.Backend]]
)

重要なのは {"XLA_TARGET", "cuda118"} の部分です

起動時のログに "CUDA Version 11.8.0" とあったので、 EXLA で使う CUDA のバージョン指定を cuda118 にしています

この指定がないと、せっかく GPU のあるハードウェアを選択しているのに、 GPU を使ってくれません

セットアップセルが実行できたら、 "Section" と次の黒いセルの間、左右中央あたりにカーソルを持っていきます

すると、 "+ Smart" というボタンが表示されます

"+ Smart"　をクリックするとメニューが開くので、 "Neural Network task" をクリックします

すると、以下の画像のように Huggin Face のアイコンがついたセルが追加されます

TASK に "Text-to-image" を選択すると、セルの内容が以下のように変化します

この状態でセルを実行（セルの左上 "Evalutate" をクリック）します

Stable Diffusion のモデルダウンロードが始まり、しばらくすると Text の入力と Run ボタンが表示されます

Text に "Elixir changes the world, high quality, detailed, digital art" を入力し、 Run ボタンをクリックしてみましょう

1分程待つと、以下のように画像が生成されます

画像生成が上手く機能しました

では、これをアプリ用に少し修正します

スマートセルの右上、鉛筆のアイコンをクリックします

確認メッセージが表示されますが、問題ないので "Convert" ボタンをクリックします

すると、スマートセルがコード（二つのセル）に変換されます

一つ目のセルのセルの最下行に以下のコードを追加します

...
serving =
  Bumblebee.Diffusion.StableDiffusion.text_to_image(clip, unet, vae, tokenizer, scheduler,
    num_steps: 20,
    num_images_per_prompt: 2,
    safety_checker: safety_checker,
    safety_checker_featurizer: featurizer,
    compile: [batch_size: 1, sequence_length: 50],
    defn_options: [compiler: EXLA]
  )
+
+Kino.start_child({Nx.Serving, serving: serving, name: ImageGeneration})

Livebook Launch Week 1 - Day 4 の動画では batch_size を 8 に変更していましたが、 Stable Diffusion はメモリを大量に使うため、 batch_size はそのままにしておきます（大きくするとメモリ不足のエラーが発生します）

二つ目のセルを以下のように変更します

アクセスしてきた人毎に、自分のリクエストに対するレスポンスだけを受け取るためです

...
-Kino.listen(form, fn %{data: %{text: text}} ->
+Kino.async_listen(form, fn %{data: %{text: text}, origin: origin} ->
  Kino.Frame.render(frame, Kino.Text.new("Running..."))
- output = Nx.Serving.run(serving, text)
+ output = Nx.Serving.batched_run(ImageGeneration, text)

  for result <- output.results do
    Kino.Image.new(result.image)
  end
  |> Kino.Layout.grid(columns: 2)
- |> then(&Kino.Frame.render(frame, &1))
+ |> then(&Kino.Frame.render(frame, &1, to: origin))
end)
...