以下、読んだら記録付けていきます。
長くなったら、一つの記事に書きます。
歴史
Gradient-Based Learning Applied to Document Recognition
http://vision.stanford.edu/cs598_spring07/papers/Lecun98.pdf
1998 CNN
ImageNet Classification with Deep Convolutional Neural Networks
2012 ディープラーニング時代の引き金
Auto-Encoding Variational Bayes
2013 生成モデル
Generative Adversarial Networks
2014 GAN
U-Net: Convolutional Networks for Biomedical Image Segmentation
2015 U-Net
Deep Residual Learning for Image Recognition
2015 スキップ接続
Attention Is All You Need
2017 Transformerの提案
Don't Decay the Learning Rate, Increase the Batch Size (Smith et al., 2017) / BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
2018 自己教師あり、事前学習パラダイム
Denoising Diffusion Probabilistic Models
2020 拡散モデル
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
2020 画像処理へtransformerを適用
Learning Transferable Visual Models From Natural Language Supervision
2021 画像とテキストを融合、生成AIへのテキスト指示が可能
その他
Class-Balanced Loss Based on Effective Number of Samles
有効サンプル数について
PyTorch: An Imperative Style, High-Performance Deep Learning Library
2019 pytorchについて