はじめに

深層学習に関する調査論文の調査を行い、まとめました。今回の記事は、僕が勉強した、もしくは今後その分野を学ぶ際に、使用する論文を一度まとめようと思い書きました。ですので、ここにあげた調査論文を全て読んでいる訳ではありません(恥ずかしながら…)ので、質と言いますか内容を保証するものではありません。全然見当違いなことを言っていた場合はご指摘くだされば幸いです。また、オススメの調査論文等があれば、ここにのっている分野問わず教えていただければと思います。それに加え、僕の研究の内容の関係上、機械学習の解釈可能性に関する内容が少し多めになっています...


取り上げる内容

・DeepLearningに関する基礎的な知識

・解釈可能性(Interpretability)/説明可能性(Explainability, XAI)

・異常検知

・Self-supervised learning

・Multi-output Learning

・GNN(Graph Neural Networks)

・物体検出

・推薦システム

・超解像

・Adversarial Examples

・単眼深度推定

・自然言語処理

・顔認識

・主成分分析


DeepLearningに関する基礎的な知識

基礎的な知識と書いてありますが、これはどのタスクに関しても使えそうという意味で基礎に位置付けて紹介しています。決して簡単という意味であったり、これは最低限知っておきましょうというものではないです。


日本語文献

物体認識のための畳み込みニューラルネットワークの研究動向

著者:内田 祐介,山下 隆義

論文情報

深層学習を用いた画像識別タスクの精度向上テクニック

著者:矢野 正基,大賀 隆裕,大西 正輝

論文情報


書籍

Deep Learning

著者:Ian Goodfellow and Yoshua Bengio and Aaron Courville

Dive into Deep Learning

著者:Aston Zhang, Zack C. Lipton,Mu Li,Alex J. Smola


解釈可能性(Interpretability)/説明可能性(Explainability, XAI)

機械学習、特に深層学習における解釈可能性、説明可能性に関する研究をまとめた資料です。


日本語文献

【記事更新】私のブックマーク「機械学習における解釈性(Interpretability in Machine Learning)」

深層学習に限った話ではないですが、数少ない日本語の記事ですので、参考になると思います。

ディープラーニングの判断根拠を理解する手法(Qiita記事)

有名な記事です。上記の記事を書かれた原先生も講演内(先生のHPなどに乗っておりますので、興味のある方は是非)で紹介なされていました。


文献

A Survey Of Methods For Explaining Black Box Models

著者:Riccardo Guidotti, Anna Monreale, Salvatore Ruggieri, Franco Turini, Dino Pedreschi, Fosca Giannotti

論文情報

Visual Interpretability for Deep Learning: a Survey

著者:Quanshi Zhang, Song-Chun Zhu

論文情報

Peeking Inside the Black-Box: A Survey on Explainable Artificial Intelligence (XAI)

著者:Amina Adadi, Mohammed Berrada

論文情報

Explaining Explanations: An Overview of Interpretability of Machine Learning

著者:Leilani H. Gilpin, David Bau, Ben Z. Yuan, Ayesha Bajwa, Michael Specter, Lalana Kagal

論文情報

handong1587さんのGithubページ

論文ではないですが、論文をGithub上にまとめてくれています。参考になると思います。

Interpretable Machine Learning

著者:Christoph Molnar

論文ではないですが、最新の手法まで乗っていると思われます。

Explainable and Interpretable Models in Computer Vision and Machine Learning

おそらく、今現在の機械学習の解釈可能性に関する研究をまとめた書籍のうち最新のもの。(書籍なので有料)


その他学会

これを読みたいです!というものはわからないですが、とりあえずここをあとで見なければと思われれるワークショップなどなどです。Tutorialなどでも行われているようですので、是非見たいところですね。

IJCAI18のWorkshops(W17)

Interpretable Machine Learning for Computer Vision, CVPR2018

Interpretable Machine Learning, NIPS17


異常検知

Deep Learning for Anomaly Detection: A Survey

著者:Raghavendra Chalapathy, Sanjay Chawla

日本語でまとめ直してくださっている方の資料はこちら。

[DL輪読会]Deep Learning for Anomaly Detection: A Survey


Self-supervised learning

最近ではUnsupervised Learning(教師なし学習)というより、 Self-supervised learningという単語を使う見たいですね。明示的な教師を与えないで、そのタスクと同様の性能を発揮するようなモデルを作成しようとする試みですね。

Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey

著者:Longlong Jing, Yingli Tian

CS294-158 Deep Unsupervised Learning Spring 2019

このTwitterの投稿より引用しました。


Multi-output Learning

A Survey on Multi-output Learning

著者:Donna Xu, Yaxin Shi, Ivor W. Tsang, Yew-Soon Ong, Chen Gong, and Xiaobo Shen


GNN(Graph Neural Networks)

すみません、この分野は全然詳しくないので、他の方がTwitterでまとめたものを完全に転用しています。

A Comprehensive Survey on Graph Neural Networks

著者:Zonghan Wu, Shirui Pan, Fengwen Chen, Guodong Long, Chengqi Zhang, Philip S. Yu

Graph Neural Networks: A Review of Methods and Applications

著者:Jie Zhou, Ganqu Cui, Zhengyan Zhang, Cheng Yang, Zhiyuan Liu, Maosong Sun

Deep Learning on Graphs: A Survey

著者:Ziwei Zhang, Peng Cui, Wenwu Zhu


物体検出

Object Detection with Deep Learning: A Review

著者:Zhong-Qiu Zhao, Peng Zheng, Shou-tao Xu, Xindong Wu

論文情報

Deep Learning for Generic Object Detection: A Survey

著者:Li Liu, Wanli Ouyang, Xiaogang Wang, Paul Fieguth, Jie Chen, Xinwang Liu, Matti Pietikäinen

hoya012さんのGithubページ


推薦システム

Deep Learning based Recommender System: A Survey and New Perspectives



著者:Shuai Zhang, Lina Yao, Aixin Sun, Yi Tay

論文情報

日本語でまとめ直してくださっている方の資料はこちら。

[DL輪読会]Deep Learning based Recommender System: A Survey and New Perspectives


超解像

Deep Learning for Image Super-resolution: A Survey

著者:Zhihao Wang, Jian Chen, Steven C.H. Hoi


Adversarial Examples

Generating Textual Adversarial Examples for Deep Learning Models: A Survey

著者:Wei Emma Zhang, Quan Z. Sheng, Ahoud Abdulrahmn F Alhazmi, Chenliang L

Adversarial Attacks and Defences: A Survey

著者:Anirban Chakraborty, Manaar Alam, Vishal Dey, Anupam Chattopadhyay, Debdeep Mukhopadhyay

Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey

著者:Naveed Akhtar, Ajmal Mian

論文情報


単眼深度推定

Monocular Depth Estimation: A Survey

著者:Amlaan Bhoi


自然言語処理

A Survey of the Usages of Deep Learning in Natural Language Processing

著者:Daniel W. Otter, Julian R. Medina, Jugal K. Kalita

Modern Deep Learning Techniques Applied to Natural Language Processing

論文ではないですが、自然言語処理に関する手法を解説してくださっているサイトです。


顔認識

Deep Face Recognition: A Survey

著者:Mei Wang, Weihong Deng

[DL輪読会]Deep Face Recognition: A Survey

Deep Face Recognition: A Survey まとめ

この論文について日本語でまとめてくださっている方のサイトです。(厳密には、現在Arxivに挙がっているものとはバージョンが異なります)


主成分分析

Deep Learningではないのですが、よく使うので紹介します...

Principal Component Analysis: A Natural Approach to Data Exploration

主成分分析の理論的な説明から応用分野まで多岐にわたり説明しています。


その他

Best Paper Awards in Computer Science (since 1996)

各国際学会の歴代BestPaperをまとめてくださっているサイトです。

Browse state-of-the-art

コード付きの論文やデータセットなどがまとめられたサイトです。

CVPR 2018 完全読破チャレンジ

コンピュータビジョンに関する有名コミニュティといえば、やっぱりcvpaper.challengeですね!!特にまとめスライドは必見です!!

arXivTimes

GithubにArxivで気になった論文を紹介してくださるリポジトリを公開してくださっている方です。


まとめ

機械学習の諸分野に関する調査論文の調査を行いました。調査と呼ぶより、むしろ僕がこれから読む予定のものや、読んだ内容の整理のためにここにまとめた次第です。他にも勉強した分野、したい分野の調査論文があったら随時追加していきたいと思います。Adversarial系とGNN系は完全に無知なので、正直調査論文の良し悪しがわかりませんでした。何か良い調査論文があれば、ご紹介していただければと思いますし、何か間違いがあるようでしたらご指摘のほどよろしくお願いいたします。