毎度毎度だが深層学習は素人です。下記の論文も読んでいません。ただ、急速に展開している深層学習を追っている忙しい人のためのきっかけとなればいいな、と思い書いています。

深層学習小史～著名論文で綴る4年+24年～

• 被引用数はGoogle Scholarより

前史

昨日今日の話の気がするが実は歴史は古かったりする。まー平成だが。2007年刊行の代表的なテキスト

にもCNNは実は出ている。

• 1989年 CNNの基礎
  • 論文 Backpropagation applied to handwritten zip code recognition
    • 被引用数 1,865(2016/10/25現在)
• 1998年 CNNの基礎
  • 論文 Gradient-based learning applied to document recognition
    • 被引用数 6,066(2016/10/25現在)

それにしてもシュレーディンガーにしても天才な人はなぜ猫を実験台にするのだろうか

• c.f.
  • 有名論文から学ぶディープラーニング
  • 深層学習を勉強する上で重要っぽい論文リスト（2010年からの通算引用数）
  • https://github.com/songrotek/Deep-Learning-Papers-Reading-Roadmap

2012年

• 2012年 猫（画像認識）
  • Building high-level features using large scale unsupervised learning
    • 被引用数 946(2016/10/25現在)
  • 記事
    • Building High-level Features Using Large Scale Unsupervised Learning を読んだ
    • Googleの猫認識 (Deep Learning)
  • 特徴
    • Autoencoder
    • 特徴量自動抽出
• 2012年 ILSVRC2012で圧勝 （画像認識）
  • ImageNet Classification with Deep Convolutional Neural Networks
    • 被引用数 7,221(2016/10/25現在)
  • 記事（スライド）
    • Image net classification　with Deep Convolutional Neural Networks
  • 特徴
    • CNN
    • dropout

2013年

• 2013年 Atariのゲームをプレイ
  • Playing atari with deep reinforcement learning
    • 被引用数 284(2016/10/25)
  • 記事
    • 論文紹介「Playing Atari with Deep Reinforcement Learning」
  • 特徴
    • 強化学習
    • torchフレームワークを使用
• 2013年 word2vec
  • Efficient estimation of word representations in vector space
    • 被引用数 2,249(2016/10/30)
  • 記事
    • 【論文シリーズ】CBOWとSkip-gramについて
    • Word2Vec のニューラルネットワーク学習過程を理解する
    • Mikolovのword2vec論文3本(2013)まとめ
  • 特徴
    • RNN
    • 言葉の意味の足し算引き算

2015年

• 2015年 チャットボット
  • A Neural Conversational Model
    • 被引用数 62(2016/10/25)
  • 記事
    • A Neural Conversational Model
  • 特徴
    • LSTM
    • seq2seq
• 2015年 音声認識
  • Fast and accurate recurrent neural network acoustic models for speech recognition
    • 被引用数 35(2016/10/25)
  • 記事
  • 特徴
    • LSTM
    • RNN
• 2015年 画像認識で説明文
  • Show and Tell: A Neural Image Caption Generator
    • 被引用数 507(2016/10/25)
  • 記事
    • Chainerで画像のキャプション生成
  • 特徴
    • CNN
      • LSTM
• 2015年 画風変換
  • A neural algorithm of artistic style
    • 被引用数 94(2016/10/25)
  • 記事
    • 画風を変換するアルゴリズム
  • 特徴
    • CNN
• 2015年 詩
  • Generating sentences from a continuous space
    • 被引用数 19 (2016/11/08)
  • 記事
    • 人工知能は「詩人」になれるのか──グーグルの試み
    • GoogleのAIはどうやって「詩」を生成するのか
  • 特徴
    • VAE
    • RNNLM
• 2015年 画像生成
  • Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks
    • 被引用数 86(2016/11/08)
  • 記事
    • DCGAN
  • 特徴
    • DCGAN
    • 表情の足し算引き算！

2016年

• 2016年 AlphaGo
  • Mastering the game of go with deep neural networks and tree search pdf
    • 被引用数 319(2016/10/25)
  • 記事
    • AlphaGoの論文を日本語に訳してまとめてみた！(まだまだ未完成)
  • 特徴
    • 強化学習
    • モンテカルロ木探索
• 2016年 翻訳
  • Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation
    • 被引用数 4(2016/11/08)
  • 記事
    • 「Google翻訳」にニューラルネット機械翻訳技術を採用　まずは中国語→英語で
    • G社のNMT論文を読んでみた
  • 特徴
    • LSTM