これはFujitsu Advent Calendar 2017の18日目の記事です。
掲載内容は富士通グループを代表するものではありません。ただし、これまでの取り組みが評価されて、富士通がQiitaに正式参加することになりました[リンク]。なお、内容の正確性には注意を払っていますが、無保証です。
はじめに
この記事では今年発表されたディープラーニング論文（ArXivでの発表時期、発表された国際会議が2017年開催またはジャーナル掲載が2017年のもの）から私が個人的に重要だと思った論文を収集しています。また、2016年末ごろの論文も重要なものは採用しています。
以下の投稿も合わせてご覧ください。
2016年のディープラーニング論文100選[リンク]
ディープラーニングにとっての2017年
2017年のディープラーニング技術は主に画像系技術で革新的な進歩がありました。それをけん引したのは敵対的生成技術(GAN)です。GAN技術とは、画像等を生成する生成器と"生成された"画像かどうかを見分ける識別器を互いに競わせることで性能を向上させる技術です。非常にパラメータチューニングの困難な技術であり、これまで研究が停滞していましたが、2017年には大きなブレークスルーを起こしました。
そのGAN技術を使えば、馬をシマウマに変えたり、夏を冬に変えたり、男性を女性に変えたり（！）することができるようになりました。
さらに、画像認識技術は、画像の枠を飛び越え、3Dや動画、地図といったものがいまや技術革新の主体になりつつあります。IoT技術の発展により、ますます活躍の舞台を広げていくでしょう。
もう一つ特筆すべき成果として、可視化技術の進歩が挙げられます。数学的、理論的な検証が進むのはまだ先のように思われますが、実験的にある程度ディープラーニングの挙動を知ることができるようになりました。
強化学習もまた着実な進歩を遂げました。強化学習は、好奇心やコミュニケーション等の要素を徐々に取り込みながら、徐々に人間に近づいて行っています。
基礎技術に関してさらに言えば、2016年に登場したx-shot learning技術は、はやくもベンチマークの上限に達する精度をたたき出しています。カプセルネットワークと呼ばれる新しい画像認識用ニューラルネットワークも提案されました。
応用に関しては、2017年は本格的な普及期に入った年となりました。医療、製造そして芸術といった分野を確実に変えつつあります。今年は、世の中に影響を与えようとする人々の努力が実を結んだ年でもあったと言えるでしょう。
最後に、2017年は日本勢の参入も目立った年でした。漫画やアニメーション等の特定の領域では将来的にある程度の地位を築くことができるかもしれません。
2018年で2012年末の画像認識コンテストILSVCにおけるディープラーニングの成功からまるまる5年が経過したことになります。振り返ってみて、これほどの進歩を予想した人はいないでしょう。人工知能の夢の実現にはまだ遠いですが、私たちが急速に変わりゆく世界を目撃しているのは間違いないように思います。
来年は多くの人工知能を搭載した製品やサービスが登場し、私たちの生活を大きく変えてくれるはずです。
さぁ、2018年を楽しみにしましょう！！
2017年のディープラーニング論文100選
キュレーションサイト等
- Arxiv Sanity Preserver [リンク]
- arXivTimes [リンク]
- Deep Learning Monitor [リンク]
- カテゴリ別まとめ [リンク]
- 2分解説動画[リンク]
画像分類・検知
- 画像認識・・・ top of ILSVRC 2017
Squeeze-and-Excitation Networks [pdf] - オブジェクト検知
Mask R-CNN [pdf] - 2Dから3D物体検知
2D-Driven 3D Object Detection in RGB-D Images [pdf] - オブジェクト追跡
End-to-end representation learning for Correlation Filter based tracking [pdf]
Detect to Track and Track to Detect [pdf] - セマンテックセグメンテーション
Photographic Image Synthesis with Cascaded Refinement Networks [pdf] - 3次元認識
Learning 3D Object Categories by Looking Around Them [pdf]
Escape from Cells: Deep Kd-Networks for the recognition of 3D point cloud models [pdf]
PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation [pdf] - 巨大クラス数学習
Knowledge Concentration: Learning 100K Object Classifiers in a Single CNN [pdf] - 巨大データ学習
Revisiting Unreasonable Effectiveness of Data in Deep Learning Era [pdf] - ジェスチャー認識
Egocentric Gesture Recognition Using Recurrent 3D Convolutional Neural Networks with Spatiotemporal Transformer Modules [pdf] - 3次元幾何セグメンテーション
3D Graph Neural Networks for RGBD Semantic Segmentation[pdf] - シーングラフ
Scene Graph Generation from Objects, Phrases and Caption Regions [pdf] - 物体検知
YOLO9000:Better, Faster, Stronger [pdf]
画像処理
- 動画の中割り作成
A filter based approach for inbetweening [pdf]
Video Frame Interpolation via Adaptive Separable Convolution [pdf] - 漫画のカラー化
Comicolorization: Semi-Automatic Manga Colorization [pdf] - 線画作成
Learning to Simplify: Fully Convolutional Networks for Rough Sketch Cleanup [pdf]
Joint Gap Detection and Inpainting of Line Drawings [pdf] - 3Dオブジェクト補完
High-Resolution Shape Completion Using Deep Neural Networks for Global Structure and Local Geometry Inference [pdf] - 画風の模倣
Universal Style Transfer via Feature Transforms [pdf]
Visual Attribute Transfer through Deep Image Analogy [pdf]
Deep Photo Style Transfer [[pdf]](Deep Photo Style Transfer)
CAN: Creative Adversarial Networks Generating “Art” by Learning About Styles and Deviating from Style Norms [pdf] - CADデータ等からリアルなデータを生成
Learning From Simulated and Unsupervised Images Through Adversarial Training [pdf]
画像生成
- DiscoGAN:ドメイン間の変換を学習
Learning to Discover Cross-Domain Relations with Generative Adversarial Networks [pdf] - CycleGAN
Unpaired image-to-image translation using cycle-consistent adversarial networks [pdf] - 2次元から3次元画像生成
SSD-6D: Making RGB-Based 3D Detection and 6D Pose Estimation Great Again [pdf] - 未来予想
Visual Forecasting by Imitating Dynamics in Natural Sequences [pdf]
言語・音声処理
- レビュー論文
Recent Trends in Deep Learning Based Natural Language Processing [pdf] - 音声合成
Parallel WaveNet: Fast High-Fidelity Speech Synthesis [pdf] - 音声認識
State-of-the-art Speech Recognition With Sequence-to-Sequence Models [[pdf]]
(https://arxiv.org/abs/1712.01769v2)
Letter-Based Speech Recognition with Gated ConvNets [pdf] - 画像当てゲームで言語を生み出す。
Multi-Agent Cooperation and the Emergence of (Natural) Language [pdf] - CNN技術応用
Convolutional Sequence to Sequence Learning [pdf] - 強化学習応用
An Actor-Critic Algorithm for Sequence Prediction [pdf] - 半教師ありテキスト分類
Adversarial Training Methods for Semi-Supervised Text Classification [pdf] - ソフトマックス関数の悪影響を排除
Breaking the Softmax Bottleneck: A High-Rank RNN Language Model [pdf] - 敵対学習応用
Adversarial Learning for Neural Dialogue Generation [pdf]
Toward Controlled Generation of Text [pdf] - 言語系タスク支援ツール
ParlAI [pdf]
##強化学習
- Alphagozero:ゼロから囲碁プロ棋士越え
Mastering the game of Go without human knowledge [pdf] - Alphagoのチェス・将棋応用
Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm [pdf] - マルチエージェント強化学習
A Unified Game-Theoretic Approach to Multiagent Reinforcement Learning [pdf] - ロボティクス
Leveraging Demonstrations for Deep Reinforcement Learning on Robotics Problems with Sparse Rewards [pdf] - マルチタスク強化学習
Multi-Task Self-Supervised Visual Learning [pdf] - マルチタスク強化学習(省データ)
Reinforcement Learning with Unsupervised Auxiliary Tasks [pdf] - エピソード学習
Neural Episodic Control [pdf] - Q学習と政策勾配法の組み合わせ
PGQ: Combining policy gradient and Q-learning [pdf] - 好奇心の定式化
Curiosity-driven Exploration by Self-supervised Prediction [pdf] - エージェントをプログラミング
Programmable Agents [pdf] - 量子アニーリングコンピュータ応用
Quantum-enhanced reinforcement learning for finite-episode games with discrete state spaces [pdf] - 強化学習アルゴリズムの比較と組み合わせ
Rainbow: Combining Improvements in Deep Reinforcement Learning [pdf] - 逆カリキュラム学習
Reverse Curriculum Generation for Reinforcement Learning [pdf] - 自然言語指示学習
Grounded Language Learning in a Simulated 3D World [pdf]
Dialogue Learning With Human-in-the-Loop [pdf]
x-shot learning
- 強化学習応用
DARLA: Improving Zero-Shot Transfer in Reinforcement Learning [pdf] - 勾配降下を学習
Optimization as a Model for Few-Shot Learning [pdf]
Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks [pdf] - Temp-Convネット応用
Meta-Learning with Temporal Convolutions [pdf] - 初期値を推測
Meta Networks [pdf]
HyperNetworks [pdf]
応用全般
- インタラクティブな指示でピッキング
Interactively Picking Real-World Objects with Unconstrained Spoken Language Instructions [pdf] - 画像圧縮
Real-Time Adaptive Image Compression [pdf]
End-to-end Optimized Image Compression [pdf] - GUI画像からプログラムを生成
pix2code: Generating Code from a Graphical User Interface Screenshot [pdf] - 音楽生成
MidiNet: A Convolutional Generative Adversarial Network for Symbolic-domain Music Generation [pdf] - 臨床兆候予想
Doctor AI: Predicting Clinical Events via Recurrent Neural Networks[pdf]
Deepr : A Convolutional Net for Medical Records [pdf]
Predicting Medications from Diagnostic Codes with Recurrent Neural Networks [pdf] - X線検査応用
AI Beats Radiologists at Pneumonia Detection [pdf] - 皮膚ガン診断
Dermatologist-level classification of skin cancer with deep neural networks [pdf] - ガンの転移を診断
Detecting Cancer Metastases on Gigapixel Pathology Images [pdf] - 複数の画像をまとめて診断
Medical Image Segmentation Based on Multi-Modal Convolutional Neural Network: Study on Image Fusion Schemes [pdf] - 血管の疾患検知
An automatic deep learning approach for coronary artery calcium segmentation [pdf] - 物理シミュレーション応用
Data-Driven Synthesis of Smoke Flows with CNN-based Feature Descriptors [pdf] - ゲームエンジン
Game Engine Learning from Video [pdf] - 自動運転
End-to-end learning for lane keeping of self-driving cars [pdf] - ドローン
A Deep Learning Approach to Drone Monitoring [pdf] - 国勢調査
Using Deep Learning and Google Street View to Estimate the De- mographic Makeup of the US [pdf] - ネットワークトラフィック解析
The Applications of Deep Learning on Traffic Identification [pdf] - 暗号技術
Using Echo State Networks for Cryptography [pdf] - 気象予報
Deep Forecast:Deep Learning-based Spatio-Temporal Forecasting [pdf] - モーゲージ債のリスク予想
Deep Learning for Mortgage Risk [pdf] - 広告のクリック率予想
Predicting Advertisement Clicks Using Deep Networks: Interpreting Deep Learning Models [pdf] - ファッションの流行を予想
Fashion Forward: Forecasting Visual Style in Fashion [pdf] - 製造系検査
A Generic Deep-Learning-Based Approach for Automated Surface Inspection [pdf]
Deformable Patterned Fabric Defect Detection With Fisher Criterion-Based Deep Learning [pdf] - 物理現象の相転移検知
Machine learning phases of matter [pdf]
Deep Learning the Quantum Phase Transitions in Random Electron Systems: Applications to Three Dimensions [pdf]
Detection of Phase Transition via Convolutional Neural Networks [pdf]
可視化・DL理解
- 影響関数
Understanding Black-box Predictions via Influence Functions [pdf] - 可視化に関する課題のレビュー
Challenges for Transparency [pdf] - CNN可視化
Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization [pdf]
基幹技術
- カプセルネットワーク
Dynamic Routing Between Capsules [pdf] - ポインタネットワーク改良
Pointer-Generator Network [pdf] - アテンション機構
Residual Attention Network for Image Classification[pdf]
Attention Is All You Need [pdf] - 転移学習：再利用するネットワークを選択
PathNet: Evolution Channels Gradient Descent in Super Neural Networks [pdf] - ドロップアウト技術改良
Dropout with Expectation-linear Regularization [pdf] - ディープテンソル:テンソル分解の応用
Deep Tensor : Eliciting New Insights from Graph Data that Express Relationships Between People and Things [pdf] - SGD改良
Entropy-SGD: Biasing Gradient Descent Into Wide Valleys [pdf] - Adam改善手法
Fixing Weight Decay Regularization in Adam [pdf] - GANの新手法
Wasserstein Generative Adversarial Networks[pdf] - IMASAT手法(情報量最大化＋汎化)
Learning Discrete Representations via Information Maximizing Self-Augmented Training [pdf] - レアデータ学習
Learning to Remember Rare Events [pdf]
理論研究
- 多様体仮説
Efficient Representation of Low-Dimensional Manifolds using Deep Networks [pdf] - DNI(ネットワーク分割)の理論解析
Understanding Synthetic Gradients and Decoupled Neural Interfaces [pdf] - 実験的にDLの汎化性能が従来の理論に当てはまらないことを説明・・・ICLR2017ベストペーパー
Understanding Deep Learning Requires Rethinking Generalization [[pdf]]
(http://bengio.abracadoudou.com/publications/pdf/zhang_2017_iclr.pdf) - ディープラーニングの汎化性能の理論解析
Generalization in Deep Learning [pdf] - GANの理論解析
Generative Adversarial Nets from a Density Ratio
Estimation Perspective [pdf]
ディープラーニング技術全般
- オートエンコーダ改良
Discrete Variational Autoencoders [pdf] - 省データグラフ畳み込み
Semi-Supervised Classification with Graph Convolutional Networks [pdf] - 並列高速化
Extremely Large Minibatch SGD: Training ResNet-50 on ImageNet in 15 Minutes [pdf]
Asynchronous Stochastic Gradient Descent with Delay Compensation [pdf] - RNNの高速化(Simple Recurrent Unit)
Training RNNs as Fast as CNNs [pdf] - RNNの高性能化
Recurrent Additive Networks [pdf] - 省メモリ
Sparsely-Connected Neural Networks: Towards Efficient VLSI Implementation of Deep Neural Networks [pdf]
Training Compressed Fully-Connected Networks with a Density-Diversity Penalty [pdf] - 省電力
Eyeriss: An Energy-Efficient Reconfigurable Accelerator for Deep Convolutional Neural Networks [pdf] - バイナリネットワーク改良
Towards Accurate Binary Convolutional Neural Network[pdf] - ニューラルネットワーク圧縮(サーベイ)
Efficient processing of deep neural networks: A tutorial and survey [pdf] - ネットワーク操作・モジュール化
Modularized Morphing of Neural Networks [pdf] - attentionのグラフ応用
Graph Attention Networks [pdf] - ハイパーパラメータ調整
Population Based Training of Neural Networks [pdf] - 関係推論
A simple neural network module for relational reasoning [pdf] - 因果推論
Causal Effect Inference with Deep Latent-Variable Models [pdf] - 能動学習
Interpretable Active Learning [pdf] - DLの検査手法
Reluplex: An Efficient SMT Solver for Verifying Deep Neural Networks[pdf]
Safety Verification of Deep Neural Networks [pdf] - 音から形や材質を予想
Shape and Material from Sound [pdf]
以上