はじめに

こんにちは！AMBL株式会社に21卒で入社した傍示です。現在は画像系AIアプリのインフラ周りを主に担当させて頂いております。この記事はAMBL株式会社 Advent Calendar 2022の24日目の記事です。

この記事では最近流行りの生成モデルを学習する際に参考になりそうなサイトなどを紹介していきます！
新しい情報が増える度にたびにこの記事も更新していこうと思いますのでこの分野に興味のある方は是非ご参照ください。

生成モデル概要

生成モデルとは、訓練データを学習してそれらと似たデータを生成できるモデルのことを言います。
例えば犬の画像を学習データとして利用した場合には犬の画像を生成することができます。

最近話題になっているNovelAIの学習データにはアニメ画像が多く利用されているので、簡単なプロンプトを入力することで高品質なアニメ画像を生成できるようになっています。

元素法典・日本語訳(NovelAIで使えるプロンプト集)

生成モデルには以下の３種類があり、2022年に話題になったStable DiffusionはDDPM(拡散モデル)にあたります。
拡散モデルの元になった論文が2020年に発表されているので、本当にここ２年ほどで発展したということが分かりますね！

VAE: Variational Autoencoders (2013)
GAN: Generative Adversarial Networks (2014)
DDPM: Denoising Probailistic Models (2020)

これらの生成モデルの特徴については以下の画像で分かりやすくなっています。それぞれ

High Quality Samples(高品質で生成できる)
Fast Sampling(高速で計算コストが低く生成できる)
Mode Coverage/Diversity(バリエーションに富んだ生成を行うことができる)

の３つの特徴で比較されています。
Stable Diffusionなどの拡散モデルは高品質でバリエーションに富んだ画像生成に強みを持っていることが見て取れます。

画像引用元

書籍

実践GAN（Compass Booksシリーズ）敵対的生成ネットワークによる深層学習

物体検出とGAN、オートエンコーダー、画像処理入門 PyTorch/TensorFlow2による発展的・実装ディープラーニング

GANディープラーニング実装ハンドブック
pytorchを使ったGANの実装例について学べる書籍です。

生成ディープラーニング
VAEやGANなどについて体系的に纏められている書籍です。
画像生成だけでなく、作曲・作文など様々な題材について紹介されているのでこの本１冊で生成モデルの動向や使用例については大体学ぶことができると思います。

Vision Transformer入門
自然言語処理分野で利用されていたTransformerをコンピュータビジョンに応用したVision Transformer(ViT)について纏められている書籍です。最近の生成モデルでもViTを利用した手法が研究されているので(ViTGANなど)その辺のモデルを理解する際に役に立つと思います。

サイト

the-gan-zoo
様々な種類のGANの論文やgithubの実装例のリンク集になっています。
GAN１つを取っても中々数が多いことが分かります。(筆者執筆時点で500個ほどありました。。)

Pytorchチュートリアル
GANについての説明やPytorchを使ったDCGANの紹介がされています！

画像生成 AI の最前線！拡散モデル・画像生成モデルの最新研究を解説

Stable Diffusion を基礎から理解したい人向け論文攻略ガイド【無料記事】
Stable Diffusionを学習する上で必要になる分野や論文を時系列順に紹介してくれる記事です。この記事に載っている論文を全て理解できればStable Diffusionもきっと理解できるはず！

Image Synthesis 画像生成
画像生成の関連サイトや歴史、Stable Diffusionの概要、画像生成モデルの法的解釈についてなど網羅的に紹介されています。
「機械学習の炊いたん６。」という技術同人誌で執筆されている内容になります。

NovelAI Improvements on Stable Diffusion
NovelAI公式が書いた記事。Stable Diffusionをどのように改善してNovelAIを作ったのかについて紹介されています。

日刊画像生成AI
2022年９月から11月くらいまでの毎日画像生成AIの話題について紹介されているサイトです。
これを読んでおけば2022年の画像生成AIのトレンドは抑えられると思います。

おわりに

今回は生成モデルにを学習する際に参考になりそうなサイトなどを紹介しました。

最近ではテキストから動画や音楽を生成できるモデルも誕生しているみたいなので、
その内AIだけで作った映画やアニメ作品などもできそうですね！

この分野は最近発展が著しいので動向を追うのも大変ですが可能な限りこの記事で今後も追いかけていければと思います。