これはFujitsu Advent Calendar 2016の11日目の記事です。
掲載内容は個人の意見・見解であり、富士通グループを代表するものではありません。なお、内容の正確性には注意を払っていますが無保証です。
はじめに
この記事では先月今年発表されたディープラーニング論文（ArXivでの発表時期、発表された国際会議が2016年開催またはジャーナル掲載が2016年のもの）から私が個人的に重要だと思った論文を収集しています。また、2015年末ごろの論文も重要なものは採用しています。
以下の投稿も合わせてご覧ください。
2017年のディープラーニング論文100選
DeepLearning研究 2016年のまとめ
2016年の深層学習を用いた画像認識モデル
foobarNet: ディープラーニング関連の○○Netまとめ
NIPS2016実装集
ディープラーニングにとっての2016年
2016年において、ディープラーニング業界は2015年を大きく上回る成果をあげました。
Alphagoが囲碁のプロ棋士に勝ち越した出来事は各界に衝撃を与えましたが、これは2016年におけるディープラーニング革命のほんの始まりに過ぎませんでした。
2015年に人の認識率を超えた画像認識技術は画像認識にとどまらず、様々な分野に応用され始めています。
例えば、写真にキャプションを付けたり、キャプションから写真を生成したり(!)、ラフ画から詳細な絵を自動生成したり(!!)、近未来を予想したり(!!!)。
一年前は遠い先のように思えた言語処理の分野も実用化が視野に入りつつあります。言語翻訳の分野では一部の印欧言語間において、文レベルの翻訳に関しては人間レベルをほぼ達成しました。会話レベルの音声認識技術も今や人の水準を超えつつあります。
ディープラーニングの基幹技術においても革新的な進歩がありました。
1つないし、少数のデータからの学習を可能にするone-shot学習関連技術やネットワーク規模を約50分の1に大幅に圧縮する技術が登場しました。
かつてはブラックボックスと言われたディープラーニングの数学的背景についても理解が進み始めました。
強化学習技術の進歩も著しく、人間にかなり近いレベルの自律学習能力が機械に備わるのはそう遠い将来では無いでしょう。
今年の初めにはディープラーニング技術者である私自身ですら、これほどの進歩は予想していませんでした。未来予想図が毎日のように書き変わっていく、ここはそういう世界です。そして、人類の未来もまた非線形に変化して行くことでしょう。
未来が全ての皆さまにとって素晴らしいものになるように、私たちディープラーニング技術者はこれまで以上に努力していきます。ぜひ、応援してください。
(あくまで、個人的見解です。)
2017年もまた素晴らしい年になりますように。。。
2016年のディープラーニング論文100選
マイルストーン
- 現役囲碁トップ棋士に勝利
Mastering the game of Go with deep neural networks and tree search [pdf] - 会話レベルの音声認識で人間と同レベルを達成
Achieving Human Parity in Conversational Speech Recognition [pdf] - 一部の印欧言語間の文レベルでの翻訳でほぼ人間レベルを達成
Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation [pdf] - 読唇術で人間レベルを達成
Lip Reading Sentences in the Wild [pdf]
画像処理
- エッジ抽出
Unsupervised Learning of Edges [pdf] - キャプション生成
Rich Image Captioning in the Wild [pdf] - キャプションから画像生成
Generating Images from Captions with Attention [pdf] - 近未来予測(数秒程度の未来を予想)
Generating Videos with Scene Dynamics [pdf]
Anticipating the future by watching unlabeled video [pdf]
Deep Predictive Coding Networks for Video Prediction and Unsupervised Learning [pdf]
Deep multi-scale video prediction beyond mean square error [pdf] - 物体追跡
Modeling and Propagating CNNs in a Tree Structure for Visual Tracking [pdf]
Fully-Convolutional Siamese Networks for Object Tracking [pdf] - 画像の着色
Colorful Image Colorization [pdf] - 画風の模倣
Perceptual Losses for Real-Time Style Transfer and Super-Resolution [pdf]
A Learned Representation For Artistic Style [pdf] - 抽象的な原画(ベタ塗りの絵)から具体的な絵を生成
Semantic Style Transfer and Turning Two-Bit Doodles into Fine Artworks [pdf]
言語・音声処理
- 音声認識/音声合成
Deep Speech 2 : End-to-End Speech Recognition in English and Mandarin [pdf]
WaveNet: A Generative Model for Raw Audio [pdf] - word2vec(単語の分散表現)
Enriching word vectors with subword information [pdf] - 文章分類
Very Deep Convolutional Networks for Natural Language Processing [pdf]
Bag of Tricks for Efficient Text Classification [pdf] - 改良技術
Pointing the Unknown Words [pdf] - 言語翻訳
Fully Character-Level Neural Machine Translation without Explicit Segmentation [pdf] - 詩や物語等の自動生成
Generating Sentences From a Continuous Spaces [pdf] - 楽曲生成
Text-based LSTM networks for Automatic Music Composition [pdf]
その他応用
- 自動プログラミング関連
Neural Programmer-Interpreters...ICLR 2016 - Best Paper Award [pdf] - 数学の定理の自動証明
DeepMath - Deep Sequence Models for Premise Selection [pdf] - 通信の自動暗号化
Learning to Protect Communications with Adversarial Neural Cryptography [pdf] - 太陽フレアの予想
A Deep-Learning Approach for Operation of an Automated Realtime Flare Forecast [pdf]
CNN技術
- ResNet関連
Identity Mappings in Deep Residual Networks [pdf]
Deep residual learning for image recognition [pdf] - 理論解析
Understanding convolutional neural networks [pdf]
Residual Networks Behave Like Ensembles of Relatively Shallow Networks [pdf] - 蒸留技術改良
Multi-Scale Context Aggregation by Dilated Convolutions [pdf] - 高速化/省メモリ技術
Training CNNs with Low-Rank Filters for Efficient Image Classification [pdf] - RNNの問題を解けるようにCNN技術を改良
Quasi-Recurrent Neural Networks [pdf]
RNN技術
- LSTMユニットの拡張
Grid Long Short-Term Memory [pdf]
Associative Long Short-Term Memory [pdf]
Recurrent Highway Networks [pdf] - attention機構
Feed-Forward Networks with Attention Can Solve Some Long-Term Memory Problems [pdf]
Multi-Way, Multilingual Neural Machine Translation with a Shared Attention Mechanism [pdf] - メモリーネットワーク関連
Neural Random-Access Machines [pdf]
Control of Memory, Active Perception, and Action in Minecraft [pdf]
Hierarchical Memory Networks [pdf]
Using Fast Weights to Attend to the Recent Past [pdf] - ニューラルチューリングマシン関連
Hybrid computing using a neural network with dynamic external memory [pdf]
Dynamic Neural Turing Machine with Soft and Hard Addressing Schemes [pdf]
Neural GPUs Learn Algorithms [pdf] - 可視化/理論解析
Architectural Complexity Measures of Recurrent Neural Networks [pdf]
Visualizing and Understanding Recurrent Networks [pdf] - 高速化/省メモリ化
Persistent RNNs: Stashing Weights on Chip [pdf]
Adaptive Computation Time for Recurrent Neural Networks [pdf]
Recurrent Neural Networks With Limited Numerical Precision [pdf] - 強化学習応用
An Actor-Critic Algorithm for Sequence Prediction [pdf] - 学習アルゴリズム
Professor Forcing: A New Algorithm for Training Recurrent Networks [pdf] - 画像処理応用
Pixel Recurrent Neural Networks...ICML 2016 - Best Paper Award [pdf] - バッチ正規化
Batch normalized recurrent neural networks [pdf] - LSTM等でない素のRNNの学習手法
Path-Normalized Optimization of Recurrent Neural Networks with ReLU Activations [pdf]
GAN技術の適用
SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient [pdf]
強化学習
- 基礎技術
Safe and Efficient Off-Policy Reinforcement Learning [pdf]
Learning to Reinforcement Learn [pdf]
Successor Features for Transfer in Reinforcement Learning [pdf]
Model-Free Episodic Control [pdf]
Dueling Network Architecture for Deep Reinforcement Learning...ICML 2016 - Best Paper Award [pdf]
Continuous Deep Q-Learning with Model-based Acceleration [pdf]
Prioritized Experience Replay [pdf]
Continuous control with deep reinforcement learning [pdf]
Increasing the Action Gap: New Operators for Reinforcement Learning [pdf]
Learning to Communicate with Deep Multi-Agent Reinforcement Learning [pdf]
Safely Interruptible Agents [pdf]
Value Iteration Networks...NIPS 2016 - Best Paper Award [pdf] - 補助学習
Reinforcement Learning with Unsupervised Auxiliary Tasks [pdf] - 分散学習/マルチエージェント
Asynchronous Methods for Deep Reinforcement Learning [pdf]
Learning to Communicate with Deep Multi-Agent Reinforcement Learning [pdf] - ロボット
Deep Reinforcement Learning for Robotic Manipulation [pdf]
Learning to Perform Physics Experiments via Deep Reinforcement Learning [pdf]
Collective Robot Reinforcement Learning with Distributed Asynchronous Guided Policy Search [pdf] - 言語系強化学習
Deep Reinforcement Learning with a Natural Language Action Space [pdf]
DL技術全般
- ライブラリ関係
Theano: A Python framework for fast computation of mathematical expressions [pdf]
TensorFlow: Large-scale machine learning on heterogeneous distributed systems [pdf] - ネットワーク簡略化・圧縮
Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding...ICLR 2016 - Best Paper Award [pdf]
SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 1MB model size [pdf] - ネットワーク操作・転送
Network Morphism [pdf]
Net2Net: Accelerating Learning via Knowledge Transfer [pdf] - ネットワーク分割
Decoupled Neural Interfaces using Synthetic Gradients [pdf] - ノイズファンクション
Noisy Activation Functions [pdf]
プレコンディショニング
Feedforward Initialization for Fast Inference of Deep Generative Networks is Biologically Plausible [pdf] - 最適化技術
Learning to Learn by Gradient Descent by Gradient Descent [pdf]
MuProp: Unbiased Backpropagation For Stochastic Neural Networks [pdf]
Equilibrium Propagation: Bridging the Gap Between Energy-Based Models and Backpropagation [pdf]
Learning values across many orders of magnitude [pdf] - ヘッセ行列の固有値分布解析
Singularity of the Hessian in Deep Learning [pdf] - 可視化手法
Understanding intermediate layers using linear classifier probes [pdf] - バイナリ重み(±1重み)ネットワーク
Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 [pdf] - ドロップアウト技術の改良
Dropout Distillation [pdf] - 正規化関連
Layer Normalization [pdf]
Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks [pdf] - 分散学習技術
Revisiting Distributed Synchronous SGD [pdf] - one-shot学習関連技術
Matching Networks for One Shot Learning [pdf]
Low-shot Visual Recognition by Shrinking and Hallucinating Features [pdf]
One-shot Learning with Memory-Augmented Neural Networks [pdf]
Zero-Shot Learning of Intent Embeddings for Expansion by Convolutional Deep Structured Semantic Models [pdf] - 学習によって重みが変化することによる忘却の抑止技術
Progressive Neural Networks [pdf] - 極値や鞍点の解析（ある条件下では極小値はすべて大域的最小値、ただし、鞍点の性質は悪い。）
Deep Learning without Poor Local Minima [pdf] - GAN技術
Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks [pdf]
Connecting Generative Adversarial Networks and Actor-Critic Method [pdf] - StackGAN技術
StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks [pdf]
Stacked Generative Adversarial Networks [pdf]
以上