Deep Learning: A Survey of Surveys

はじめに

深層学習に関する調査論文の調査を行い、まとめました。今回の記事は、僕が勉強した、もしくは今後その分野を学ぶ際に、使用する論文を一度まとめようと思い書きました。ですので、ここにあげた調査論文を全て読んでいる訳ではありません(恥ずかしながら…)ので、質と言いますか内容を保証するものではありません。全然見当違いなことを言っていた場合はご指摘くだされば幸いです。また、オススメの調査論文等があれば、ここにのっている分野問わず教えていただければと思います。それに加え、僕の研究の内容の関係上、機械学習の解釈可能性に関する内容が少し多めになっています...

取り上げる内容

・DeepLearningに関する基礎的な知識
・解釈可能性(Interpretability)/説明可能性(Explainability, XAI)
・Activation Maximization
・異常検知
・Self-supervised learning
・Multi-output Learning
・GNN(Graph Neural Networks)
・物体検出
・推薦システム
・超解像
・GAN
・Adversarial Examples
・単眼深度推定
・自然言語処理
・顔認識
・次元圧縮
・時系列
・Multi-Object Tracking
・距離計算
・Data Augmentation
・VAE
・Graph Kernels
・特徴点マッチング
・3D Data
・音声生成
・活性化関数
・Dropout

DeepLearningに関する基礎的な知識

基礎的な知識と書いてありますが、これはどのタスクに関しても使えそうという意味で基礎に位置付けて紹介しています。決して簡単という意味であったり、これは最低限知っておきましょうというものではないです。

日本語文献

・物体認識のための畳み込みニューラルネットワークの研究動向
著者：内田 祐介,山下 隆義
論文情報

・深層学習を用いた画像識別タスクの精度向上テクニック
著者：矢野 正基,大賀 隆裕,大西 正輝
論文情報

書籍

・Deep Learning
著者：Ian Goodfellow and Yoshua Bengio and Aaron Courville

・Dive into Deep Learning
著者：Aston Zhang, Zack C. Lipton,Mu Li,Alex J. Smola

解釈可能性(Interpretability)/説明可能性(Explainability, XAI)

機械学習、特に深層学習における解釈可能性、説明可能性に関する研究をまとめた資料です。

日本語文献

・【記事更新】私のブックマーク「機械学習における解釈性（Interpretability in Machine Learning）」
深層学習に限った話ではないですが、数少ない日本語の記事ですので、参考になると思います。

・【記事更新】私のブックマーク「説明可能AI」（Explainable AI）
上記の記事を書かれた原先生の更新された記事です．例えば，Guided BackPropagationは，モデルの重みを初期化しても可視化できてしまうなどのあまり良くない性質があるような説明方法の見直しが起きているなど，昨今のXAIの動向がまとめられています．一読の価値は非常にあると思います．

・[ディープラーニングの判断根拠を理解する手法]
(https://qiita.com/icoxfog417/items/8689f943fd1225e24358)(Qiita記事)
有名な記事です。上記の記事を書かれた原先生も講演内(先生のHPなどに乗っておりますので、興味のある方は是非)で紹介なされていました。

文献

・A Survey Of Methods For Explaining Black Box Models
著者：Riccardo Guidotti, Anna Monreale, Salvatore Ruggieri, Franco Turini, Dino Pedreschi, Fosca Giannotti
論文情報

・Visual Interpretability for Deep Learning: a Survey
著者：Quanshi Zhang, Song-Chun Zhu
論文情報

・Visual Analytics in Deep Learning: An Interrogative Survey for the Next Frontiers
著者：Fred Matthew Hohman ; Minsuk Kahng ; Robert Pienta ; Duen Horng Chau View All Authors
論文情報

・Peeking Inside the Black-Box: A Survey on Explainable Artificial Intelligence (XAI)
著者：Amina Adadi, Mohammed Berrada
論文情報

・Explaining Explanations: An Overview of Interpretability of Machine Learning
著者：Leilani H. Gilpin, David Bau, Ben Z. Yuan, Ayesha Bajwa, Michael Specter, Lalana Kagal
論文情報

・Techniques for Interpretable Machine Learning
著者：Mengnan Du, Ninghao Liu, Xia Hu

・handong1587さんのGithubページ
論文ではないですが、論文をGithub上にまとめてくれています。参考になると思います。

・Interpretable Machine Learning
著者：Christoph Molnar
論文ではないですが、最新の手法まで乗っていると思われます。

・Explainable and Interpretable Models in Computer Vision and Machine Learning
おそらく、今現在の機械学習の解釈可能性に関する研究をまとめた書籍のうち最新のもの。(書籍なので有料)

その他学会

これを読みたいです！というものはわからないですが、とりあえずここをあとで見なければと思われれるワークショップなどなどです。Tutorialなどでも行われているようですので、是非見たいところですね。
・IJCAI18のWorkshops(W17)
・Interpretable Machine Learning for Computer Vision, CVPR2018
・Interpretable Machine Learning, NIPS17

Activation Maximization

特定のユニットの出力を最大にするようなサンプルを生成することで，ユニットの持つ役割を把握しようとする分野の研究です．モデルのデバッグなどに使用されます．

Understanding Neural Networks　via Feature Visualization: A survey
著者：Anh Nguyen, Jason Yosinski, Jeff Clune

異常検知

・Deep Learning for Anomaly Detection: A Survey
著者：Raghavendra Chalapathy, Sanjay Chawla

日本語でまとめ直してくださっている方の資料はこちら。
[DL輪読会]Deep Learning for Anomaly Detection: A Survey

Self-supervised learning

明示的な教師を与えないで、そのタスクと同様の性能を発揮するようなモデルを作成しようとする試みですね．

・Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey
著者：Longlong Jing, Yingli Tian

・CS294-158 Deep Unsupervised Learning Spring 2019
このTwitterの投稿より引用しました。

Multi-output Learning

・A Survey on Multi-output Learning
著者：Donna Xu, Yaxin Shi, Ivor W. Tsang, Yew-Soon Ong, Chen Gong, and Xiaobo Shen

GNN(Graph Neural Networks)

すみません、この分野は全然詳しくないので、他の方がTwitterでまとめたものを完全に転用しています。

・A Comprehensive Survey on Graph Neural Networks
著者：Zonghan Wu, Shirui Pan, Fengwen Chen, Guodong Long, Chengqi Zhang, Philip S. Yu

・Graph Neural Networks: A Review of Methods and Applications
著者：Jie Zhou, Ganqu Cui, Zhengyan Zhang, Cheng Yang, Zhiyuan Liu, Maosong Sun

・Deep Learning on Graphs: A Survey
著者：Ziwei Zhang, Peng Cui, Wenwu Zhu

物体検出

・A Survey of Deep Learning-based Object Detection
著者：Licheng Jiao, Fan Zhang, Fang Liu, Shuyuan Yang, Lingling Li, Zhixi Feng, Rong Qu

・Object Detection with Deep Learning: A Review
著者：Zhong-Qiu Zhao, Peng Zheng, Shou-tao Xu, Xindong Wu
論文情報

・Deep Learning for Generic Object Detection: A Survey
著者：Li Liu, Wanli Ouyang, Xiaogang Wang, Paul Fieguth, Jie Chen, Xinwang Liu, Matti Pietikäinen

・hoya012さんのGithubページ

推薦システム

・Deep Learning based Recommender System: A Survey and New Perspectives

著者：Shuai Zhang, Lina Yao, Aixin Sun, Yi Tay
論文情報

日本語でまとめ直してくださっている方の資料はこちら。
[DL輪読会]Deep Learning based Recommender System: A Survey and New Perspectives

超解像

・Deep Learning for Image Super-resolution: A Survey
著者：Zhihao Wang, Jian Chen, Steven C.H. Hoi

GAN

Recent Progress on Generative Adversarial Networks (GANs): A Survey
著者：Zhaoqing Pan, Weijie Yu, Xiaokai Yi, Asifullah Khan, Feng Yuan ,Yuhui Zheng

Adversarial Examples

・Generating Textual Adversarial Examples for Deep Learning Models: A Survey
著者：Wei Emma Zhang, Quan Z. Sheng, Ahoud Abdulrahmn F Alhazmi, Chenliang L

・Adversarial Attacks and Defences: A Survey
著者：Anirban Chakraborty, Manaar Alam, Vishal Dey, Anupam Chattopadhyay, Debdeep Mukhopadhyay

・Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey
著者：Naveed Akhtar, Ajmal Mian
論文情報

単眼深度推定

・Monocular Depth Estimation: A Survey
著者：Amlaan Bhoi

自然言語処理

・A Survey of the Usages of Deep Learning in Natural Language Processing
著者：Daniel W. Otter, Julian R. Medina, Jugal K. Kalita

・Modern Deep Learning Techniques Applied to Natural Language Processing
論文ではないですが、自然言語処理に関する手法を解説してくださっているサイトです。

顔認識

・A Survey to Deep Facial Attribute Analysis
著者：Xin Zheng, Yanqing Guo, Huaibo Huang, Yi Li, Ran He

・Deep Face Recognition: A Survey
著者：Mei Wang, Weihong Deng

・[DL輪読会]Deep Face Recognition: A Survey
・Deep Face Recognition: A Survey まとめ
この論文について日本語でまとめてくださっている方のサイトです。(厳密には、現在Arxivに挙がっているものとはバージョンが異なります)

次元圧縮

Deep Learningではないのですが、よく使うので紹介します...

・Principal Component Analysis: A Natural Approach to Data Exploration
著者:Felipe L.Gewers, Gustavo R.Ferreira
よく次元圧縮の方法で使う主成分分析の理論的な説明から応用分野まで多岐にわたり説明しています。

時系列

・Deep learning for time series classification: a review
Deep Learning を使用した論文のサーベイ．基本的には脳波とかが多そうな印象でしたが，Data Augmentationの方法なども少し乗っていたり，複数のモデルの比較などをしていて参考になると思います．ただ，ResNetが強いらしいです．

著者：Hassan Ismail Fawaz, Germain Forestier, Jonathan Weber, Lhassane Idoumghar, Pierre-Alain Muller
論文情報

Multi-Object Tracking

Deep Learning in Video Multi-Object Tracking: A Survey
著者：Gioele Ciaparrone, Francisco Luque Sánchez, Siham Tabik, Luigi Troiano, Roberto Tagliaferri, Francisco Herrera

距離計算

ユーグリッド距離やコサイン類似度などのあらゆる距離や類似度がまとめられています．Metric Learning などをする際にご参考ください．

Distance and Similarity Measures Effect on the Performance of K-Nearest Neighbor Classifier -- A Review
著者：V. B. Surya Prasath, Haneen Arafat Abu Alfeilat, Omar Lasassmeh, Ahmad B. A. Hassanat, Ahmad S. Tarawneh

Data Augmentation

画像に対するData Augementationについてまとめた論文です．今までサイトなどでチラ見しながらやっていたので，辞書的に使えるかもしれません．
A survey on Image Data Augmentation for Deep Learning
著者：Connor Shorten，Taghi M. Khoshgoftaar

VAE

サーベイ論文というよりは参考書です．
An Introduction to Variational Autoencoders
著者：Diederik P. Kingma, Max Welling

Graph Kernels

A Survey on Graph Kernels
著者：Nils M. Kriege, Fredrik D. Johansson, Christopher Morris

特徴点マッチング

SIFTなどのhandcraftedな手法からSuperPointのようなディープラーニングを使用したモデルまで幅広くまとめられています．

From handcrafted to deep local features
著者：Gabriela Csurka, Christopher R. Dance, Martin Humenberger

3D Data

A survey on Deep Learning Advances on Different 3D Data Representations
著者：Eman Ahmed, Alexandre Saint, Abd El Rahman Shabayek, Kseniya Cherenkova, Rig Das, Gleb Gusev, Djamila Aouada, Bjorn Ottersten

音声生成

サーベイ論文というより本です．200ページくらいあります．
Deep Learning Techniques for Music Generation - A Survey
著者：Jean-Pierre Briot, Gaëtan Hadjeres, François-David Pachet

活性化関数

swish以降活性化関数の盛り上がりが個人的にあまりなかったように感じますが，いろいろ出ているようです．一度参考までに見ると参考になるかもしれません．

・Activation Functions: Comparison of Trends in Practice and Research for Deep Learning
著者：Chigozie Nwankpa, Winifred Ijomah, Anthony Gachagan, Stephen Marshall

こちらは少し古いですが，参考になると思います．
・Searching for Activation Functions
著者：Prajit Ramachandran, Barret Zoph, Quoc V. Le

Dropout

Dropoutのサーベイ論文です．
Survey of Dropout Methods for Deep Neural Networks
著者：Alex Labach, Hojjat Salehinejad, Shahrokh Valaee

その他

・Best Paper Awards in Computer Science (since 1996)
各国際学会の歴代BestPaperをまとめてくださっているサイトです。

・Browse state-of-the-art
コード付きの論文やデータセットなどがまとめられたサイトです。

・CVPR 2018 完全読破チャレンジ
コンピュータビジョンに関する有名コミニュティといえば、やっぱりcvpaper.challengeですね！！特にまとめスライドは必見です！！

・arXivTimes
GithubにArxivで気になった論文を紹介してくださるリポジトリを公開してくださっている方です。

まとめ

機械学習の諸分野に関する調査論文の調査を行いました。調査と呼ぶより、むしろ僕がこれから読む予定のものや、読んだ内容の整理のためにここにまとめた次第です。他にも勉強した分野、したい分野の調査論文があったら随時追加していきたいと思います。~~Adversarial系とGNN系は完全に無知なので、正直調査論文の良し悪しがわかりませんでした。~~何か良い調査論文があれば、ご紹介していただければと思いますし、何か間違いがあるようでしたらご指摘のほどよろしくお願いいたします。

更新記録

・2019/08/05更新
・2019/08/06更新，活性化関数，Dropoutの追加