AIで遊べるデモサイト「AI World2」 #Python

はじめに

以前公開したAIのデモサイト「AI World」に、4つのデモを追加しました。

今回もスマホでも遊べるので、良かったら触ってみて下さい。

↓スマホでの表示

■デモサイト
AI World

■環境
Python, AWS(Lightsail), Flask, Docker

今回追加したデモは、以下の通りです。

#	タイトル	内容	利用モデル
1	Image Sampling	シングルショット画像からのサンプリング	SinGAN
2	Text to Image	テキストからの画像生成	GLIDE
3	Landscape Generation	風景画像生成	Lightweight GAN
4	Mask Tracking	動画でのインスタンスセグメンテーション	MaskTrack R-CNN

以下、それぞれのデモについて簡単に紹介していきます。

こちらはSinGANを使ったシングルショット画像からの画像サンプリングのデモです。

SinGANのトレーニングに使用するのは、上部に表示されているオリジナル画像1枚のみで、「New Sampling」を押すと、オリジナル画像を元に、SinGANが生成した画像が返されます。

また、SinGANにはアスペクト比の制約がないため、「scaleup」を選択した際には、元画像の幅の8倍のスケールでSinGANに生成させた画像をスクロールで表示させています。

SinGANは応用範囲も広く、学習に利用する画像が1枚だけというはやはり面白いですね。

こちらはOpenAIによって発表された、DiffusionモデルベースのGLIDEを使用した、テキストからの画像生成のデモです。左側に表示されたテキストを入力として、GLIDEが生成した画像を10枚右側に表示させています。

改めてですが、任意のテキストに対してゼロショットでこれはとんでもないですね。

一方で、適応可能領域が汎用的になればなるほど、AIの倫理問題は常に考えて行く必要があるなと改めて実感しました。

こちらはLightweight GANを使った、風景画像生成のデモです。

GANは学習に大量のデータと計算リソースが必要となるのがボトルネックでしたが、Lightweight GANは数百~千枚程度の画像と1GPUでも、それなりに品質の高い画像が生成できます。

今回は1000枚程度の風景画像を用意し、Colaboratoryで20時間ほど回して学習させました。トレーニングしたモデルに生成させた画像の中で、出来が良かった物を100枚近く選んでいます。

ざっと一覧が見たい方は、以下のような形で、AI用のInstagramにも画像を貼っているので、こちらを参照して頂ければと思います。

これに関してはスタイル変換や超解像、3D化など色々とアップデートして行きたいと思います。

こちらはMasktrack R-CNNを利用した、Video Instance Segmentationです。

上がオリジナルの動画で、下にMasktrack R-CNNによってオブジェクトがセグメンテーションされた動画を表示させています。

上記のアニメーションは投稿サイズの関係上、画質をかなり落としているため、実際のイメージはデモサイトを見て頂ければと思います。少し小さいですが、同一オブジェクトのバウンディングボックスに同じIDのラベルが振られ、トラッキングされているのがわかると思います。

いかがだったでしょうか。

今回は4つでしたが、また定期的に面白いモデルやアプリケーションのデモを公開していければと思います。