44
Help us understand the problem. What are the problem?

posted at

updated at

AIで遊べるデモサイト「AI World2」

はじめに

以前公開したAIのデモサイト「AI World」に、4つのデモを追加しました。

今回もスマホでも遊べるので、良かったら触ってみて下さい。

↓スマホでの表示

■デモサイト
AI World

■環境
Python, AWS(Lightsail), Flask, Docker

追加デモ一覧

今回追加したデモは、以下の通りです。

# タイトル 内容 利用モデル
1 Image Sampling シングルショット画像からのサンプリング
  • SinGAN
2 Text to Image テキストからの画像生成
  • GLIDE
3 Landscape Generation 風景画像生成
  • Lightweight GAN
4 Mask Tracking 動画でのインスタンスセグメンテーション
  • MaskTrack R-CNN

以下、それぞれのデモについて簡単に紹介していきます。

1. Image Sampling

こちらはSinGANを使ったシングルショット画像からの画像サンプリングのデモです。

SinGANのトレーニングに使用するのは、上部に表示されているオリジナル画像1枚のみで、「New Sampling」を押すと、オリジナル画像を元に、SinGANが生成した画像が返されます。

また、SinGANにはアスペクト比の制約がないため、「scaleup」を選択した際には、元画像の幅の8倍のスケールでSinGANに生成させた画像をスクロールで表示させています。

SinGANは応用範囲も広く、学習に利用する画像が1枚だけというはやはり面白いですね。

2. Text to Image

こちらはOpenAIによって発表された、DiffusionモデルベースのGLIDEを使用した、テキストからの画像生成のデモです。左側に表示されたテキストを入力として、GLIDEが生成した画像を10枚右側に表示させています。

改めてですが、任意のテキストに対してゼロショットでこれはとんでもないですね。

一方で、適応可能領域が汎用的になればなるほど、AIの倫理問題は常に考えて行く必要があるなと改めて実感しました。

3. Landscape Generation

こちらはLightweight GANを使った、風景画像生成のデモです。

GANは学習に大量のデータと計算リソースが必要となるのがボトルネックでしたが、Lightweight GANは数百~千枚程度の画像と1GPUでも、それなりに品質の高い画像が生成できます。

今回は1000枚程度の風景画像を用意し、Colaboratoryで20時間ほど回して学習させました。トレーニングしたモデルに生成させた画像の中で、出来が良かった物を100枚近く選んでいます。

ざっと一覧が見たい方は、以下のような形で、AI用のInstagramにも画像を貼っているので、こちらを参照して頂ければと思います。

Landscape Generation samples(Instagram)

これに関してはスタイル変換や超解像、3D化など色々とアップデートして行きたいと思います。

4. Mask Tracking

こちらはMasktrack R-CNNを利用した、Video Instance Segmentationです。

上がオリジナルの動画で、下にMasktrack R-CNNによってオブジェクトがセグメンテーションされた動画を表示させています。

上記のアニメーションは投稿サイズの関係上、画質をかなり落としているため、実際のイメージはデモサイトを見て頂ければと思います。少し小さいですが、同一オブジェクトのバウンディングボックスに同じIDのラベルが振られ、トラッキングされているのがわかると思います。

まとめ

いかがだったでしょうか。

今回は4つでしたが、また定期的に面白いモデルやアプリケーションのデモを公開していければと思います。

■参考
Qiita記載記事
AIで遊べるデモサイト「AI World」
Deep Metric Learning
Deep Learning for Image Denoising
画像処理で遊べるデモサイト「IP World」
ホテル暮らしはクラウドである
AIの実業務適用に必須なHITLという考え方と、HITLを加速させるAI×RPA
RPAの推進に必須なRPAOpsという考え方
VBAが組める人ならRPAは簡単に作れるという罠

個人ブログ
キャリア・フレームワークなど

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Sign upLogin
44
Help us understand the problem. What are the problem?