機械学習・ディープラーニング初心者向けの定番論文まとめ

はじめに

近年では機械学習、ディープラーニングの発展が目まぐるしく、日々研究が進展しています。そのような中で多くの論文が発表されるのですが、今回は数ある論文の中でも定番となる論文をまとめてみました。機械学習やディープラーニングの論文を読むに当たり、どのような所から手を付けたらいいかわからない方は参考にして頂けたらと思います。

なお、ここで言う定番とは学会などの評価や、社会での導入実績などを根拠としたものではなく、個人の主観による所が大きいです。過去に話題になった、記事でよく見かける、といった意味合いが大きいのでご注意ください。

記載の被引用数は記事作成時の数字です。今後も増えていくものと思われますので、参考程度に留め、必要な方は別途調査を行って頂きますようお願いいたします。

定番論文についてマージリクエストも歓迎です。一定数たまったところで反映いたしますが、最後は私の主観による編集になる点だけはご了承ください。

物体検出

• Rich feature hierarchies for accurate object detection and semantic segmentation

  • 著者: Ross Girshick, Jeff Donahue, Trevor Darrell, Jitendra Malik (2014)
  • 被引用数：11838
  • 一言メモ：R-CNN

• Fast R-CNN

  • 著者： R Girshick (2015)
  • 被引用数：8646

• Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

  • 著者：Shaoqing Ren, Kaiming He, Ross Girshick, Jian Sun (2015)
  • 被引用数：16175
  • 一言メモ：Faster R-CNN 近年の物体検出のベースとなる論文

• SSD: Single Shot MultiBox Detector

  • 著者：Wei Liu　(2015)
  • 被引用数：7328
  • 一言メモ：SSD

• You Only Look Once:Unified, Real-Time Object Detection

  • 著者：Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi (2015)
  • 被引用数：7840
  • 一言メモ：yoloV1

• YOLO9000: Better, Faster, Stronger

  • 著者：Joseph Redmon, Ali Farhadi (2016)
  • 被引用数：3944
  • 一言メモ：yoloV2

• YOLOv3: An Incremental Improvement

  • 著者：Joseph Redmon, Ali Farhadi (2018)
  • 被引用数：2091
  • 一言メモ：yoloV3

• Object Detection with Deep Learning: A Review

  • 著者：ZQ Zhao (?2018)
  • 被引用数： 222
  • 一言メモ：物体検出の変遷や、モデルの比較検証を行ったレポート

セグメンテーション

• Fully Convolutional Networks for Semantic Segmentation

  • 被引用数：14282
  • 一言メモ：FCN

• SegNet: A Deep Convolutional
  Encoder-Decoder Architecture for Image
  Segmentation

  • 著者：Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla (2016)
  • 被引用数：4087
  • 一言メモ：SegNet

• U-Net: Convolutional Networks for Biomedical Image Segmentation

  • 著者：Olaf Ronneberger, Philipp Fischer, Thomas Brox
  • 被引用数：11737
  • 一言メモ：U-Net

• Pyramid Scene Parsing Network

• 著者：Hengshuang Zhao, Jianping Shi, Xiaojuan Qi, Xiaogang Wang, Jiaya Jia

  • 被引用数：2164
  • 一言メモ：PSPNet

生成

• Generative Adversarial Networks

  • 著者：IJ Goodfellow (2014)
  • 被引用数：16082
  • 一言メモ：GANのオリジナル論文

• Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks

  • 著者：Radford
  • 被引用数： 5521
  • 一言メモ：GANにConvolutionを導入

• Image-to-Image Translation Using Conditional Adversarial Networks

  • 著者：P Isola (2016)
  • 被引用数：4400
  • 一言メモ：pix2pix

• Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

  • 著者：JY Zhu (2017)
  • 被引用数：3878
  • 一言メモ：CycleGan

• StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation

  • 著者：Y Choi (?2017)
  • 被引用数：691
  • 一言メモ：StarGan

自然言語

• Efficient Estimation of Word Representations in Vector Space

  • 著者：Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean(2013)
  • 被引用数：14314
  • 一言メモ：word2vec

• Distributed Representations of Sentences and Documents

  • 著者：Quoc Le QVL ,Tomas Mikolov (2014)
  • 被引用数：5206
  • 一言メモ：doc2vec

• Latent Dirichlet Allocation

  • 著者：David M. Blei(2003)
  • 被引用数：30605
  • 一言メモ：文章のクラスタリング。教師なし。

• Attention Is All You Need

  • 著者：A Vaswani (?2017)
  • 被引用数： 6122
  • 一言メモ：Attentionを活用し、RNNを使ったモデル精度を大きく上回った

• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

  • 著者：J Devlin (2018)
  • 被引用数：3732
  • 一言メモ：大量の文章を教師なしで利用。

音声

• WaveNet: A Generative Model for Raw Audio

  • 著者：Aaron van den Oord (2016)
  • 被引用数：1577
  • 一言メモ：Google HomeやGoogle アシスタントの合成音声で使用

• Parallel WaveNet: Fast High-Fidelity Speech Synthesis

  • 著者：Aaron van den Oord (2017)
  • 被引用数：229
  • 一言メモ：WaveNetの処理性能を向上させたもの