PGGAN
Stylegan の原点となるGAN、全てはここから始まった。2018年に発表され、PGGAN (Progressive Growing GAN) ... Progressive Growing GAN(PGGAN)は、GANで高解像度な画像生成を可能にした手法の1つ。 PGGANでは1024×1024解像度の画像が生成できるようになった。言われなければ生成画像とは分からないレベルといわれたが、現在のStyleGANからみれば未熟な点がある。しかしネットワークの構造はStyleGANに比べればシンプルでわかりやすい。PGGANの特徴として低解像度の画像から学習していき、徐々に解像度を上げていく仕組みが挙げられる。この特徴により難しいと言われてきた高解像度での学習を安定させ、更に全体の学習時間の短縮にもつながるといったメリットが生まれた。
PGGANのオリジナルGitHub
GitHub - tkarras/progressive_growing_of_gans: Progressive Growing of GANs for Improved Quality, Stability, and Variation
https://github.com/tkarras/progressive_growing_of_gans
Paper
Karras, T., Aila, T., Laine, S., & Lehtinen, J. (2017). Progressive growing of gans for improved quality, stability, and variation. arXiv preprint arXiv:1710.10196.
https://arxiv.org/abs/1710.10196
StyleGAN
2018年に発表。
StyleGANの登場により「写真が証拠になる時代は終わった」としばしば騒がれるようになった。
Genera tive Adversarial Networks（以下、GAN）とは教師無し学習に分類される機械学習の一手法で、学習したデータの特徴を元に実在しないデータを生成したり、データを変換することができる。
下に示す画像は一見写真のように見えるが、実際は全て存在しない人物であり、StyleGANによって生み出された画像である。
引用：A Style-Based Generator Architecture for Generative Adversarial Networks (https://arxiv.org/abs/1812.04948)
StyleGANのオリジナルGitHub
GitHub - NVlabs/stylegan: StyleGAN - Official TensorFlow Implementation
https://github.com/NVlabs/stylegan
Paper
Karras, T., Laine, S., & Aila, T. (2019). A style-based generator architecture for generative adversarial networks. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 4401-4410).
https://arxiv.org/abs/1812.04948
StyleGAN2
StyleGAN２のオリジナルGitHub
2019年に発表。
改良版のStyleGAN。AdaINの代わりにCNNのWeightを正規化することでdropletの除去、Progressive Growingの除去で不自然なモードの改善、潜在空間で連続性を持たせることで画像品質向上を図る。StyleGANに比べてFID等が大きく向上。元々PGGANを改良したStyleGANだったが、StyleGAN２ではそのProgressive Growingを使わない方法を提案。 個人的にはStyleGANより重く、GPUはV100がおすすめ。学習に時間がかかるが、StyleGANより、画質が本物に近い。
GitHub - NVlabs/stylegan2: StyleGAN2 - Official TensorFlow Implementation
https://github.com/NVlabs/stylegan2
Paper
Karras, T., Laine, S., Aittala, M., Hellsten, J., Lehtinen, J., & Aila, T. (2020). Analyzing and improving the image quality of stylegan. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 8110-8119).
https://arxiv.org/abs/1912.04958v2
StyleGANとStyleGAN2の技術的解説
GANの基礎からStyleGAN2まで. by Akihiro FUJII
この記事にのリンク
StyleGAN2-ADA
2020年秋に発表。
少なすぎるデータを使用して生成的敵対的ネットワーク（GAN）をトレーニングすると、通常、弁別器（Descriminator)の過剰適合につながり、トレーニングが発散する。限られたデータ体制でのトレーニングを大幅に安定させるAdaptive Discriminator Augmentationのメカニズムが提案された。この方法により、いままで数万枚必要な学習データが、数千でも良くなるとのこと。
StyleGAN２-ADAのオリジナルGitHub
GitHub - NVlabs/stylegan2-ada: StyleGAN2 with adaptive discriminator augmentation (ADA) - Official TensorFlow implementation
https://github.com/NVlabs/stylegan2-ada
Paper
Training Generative Adversarial Networks with Limited Data
Tero Karras, Miika Aittala, Janne Hellsten, Samuli Laine, Jaakko Lehtinen, Timo Aila
https://arxiv.org/abs/2006.06676
Fréchet Inception Distance (FID)について
Frechet Inception Distance(FID)は、生成された画像の分布と元の画像の分布がどれだけ近いかを測る指標.
StyleGANで学習がどのくらい進んでいるか手短に評価する指標として便利である。
FIDの参考リンク
Progressive/Big/StyleGANsの概要とGANsの性能評価尺度 - Qiita
https://qiita.com/kzykmyzw/items/5c4a6c2ee19ddd59e810