こんにちは。スキルアップAI編集部です。
本記事は2019年に執筆されたものですが、2021年の現在となっても非常に有意義な記事となっております。是非ご一読ください。
スキルアップAIでは、現在「【E資格対策】ディープラーニング最新論文対策講座」を開講中です。この講座では、2015年以降に発表されたディープラーニングに関する注目論文を潮流に沿って紹介し、注目ポイントを解説しています。
本講座で、多くの参加者から、「もっと深く書く論文を取り上げて欲しい」「より詳細な解説をしてもらいたい」という声も多数頂き、取り上げた論文の内容をご紹介する事に致しました。
本記事では、まず取り上げた論文一覧のご紹介をいたします。
目次
1.コンピュータビジョン系
2.自然言語処理系
3.ニューラルネット一般
4.強化学習系
1. コンピュータビジョン系
・「Deep Residual Learning for Image Recognition」
モダンなCNNの主要技術であるResNetの原論文。
・「Squeeze-and-Excitation Networks」
ResNetと並んでCNNの汎化性能の基本技術になりうるSE moduleの原論文。
・「MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications」
組み込み向けCNNの構成技術であり、スマホ等で使われている。
・「U-Net: Convolutional Networks for Biomedical Image Segmentation」
医療分野で活躍するCNNであり、少数データからセグメンテーションを可能とする。
・「Visualizing and Understanding Convolutional Networks」
なぜCNNが画像認識をうまくできるのか？という問題の解析手法。
2. 自然言語処理系
・「Memory Networks」
LSTM以上の長期記憶を実現した質疑応答用DNN。
・「End-To-End Memory Networks」
全体をBPで学習可＋多層化したMemory Networks。Attention機構の再発見という意味で非常に重要な論文。
・「Attention Is All You Need」
現在のNLPタスクの主流になっているTransformerモデルの原論文であり、タイトルが非常にキャッチー、パクリタイトル論文が多数存在する。
・「BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding」
最近出たNLPタスクの決定的モデル、あらゆるタスクでSotAを達成した。
・「Neural Turing Machines」
DNNで「計算」そのものをモデリングしようという試み。
3. ニューラルネット一般
・「Distilling the Knowledge in a Neural Network」
モデル軽量化の主流手法、小さなモデルに知識を蒸留する。
・「Explaining and Harnessing Adversarial Examples」
ニューラルネットワークを騙すような入力Adversarial Exampleについて。
・「Dataset Distillation」
上2本に関連、「NNが好きな入力」を使って、「データを」蒸留する試み 。
・「Linear Backprop in non-linear networks」
性能を変えずにBPの計算を高速にする手法 。
・「Understanding Batch Normalization」
DNNの学習に必要不可欠なバッチ正規化の解析論文。
・「Modeling Relational Data with Graph Convolutional Networks」
画像ではなく”関係性”を畳み込もうという新しいネットワーク。
4. 強化学習系
・「Mastering the game of Go without human knowledge」
人工知能の火付け役、AlphaGoの進化版 • 教師あり学習から完全自律の教師なしモデルに進化した。
・「Guided Cost Learning: Deep Inverse Optimal Control via Policy Optimization」
強化学習の新しい考え方「逆強化学習」を解こう、という試み。
・「Generative Adversarial Imitation Learning」
逆強化学習は実はGANと同じという主張であり、GAN-Likeなネットワークでモデルフリーな強化学習手法を提案する。
以上となります。 次回は「Deep Residual Learning for Image Recognition」を紹介する予定です。ご期待ください！
25卒向け！AIエンジニアになるための長期インターンプログラム参加者募集中！
25卒学生向けに、AIの基礎を学びながら就活も一括サポートする無料カリキュラムを提供しています。
修了するとE資格の受験資格も獲得できるプログラムとなっています！
特長①AIエンジニアやデータサイエンティストの基礎が身に付く
AIジェネラリスト基礎講座や機械学習のためのPython入門講座など、市場価値向上のための基礎を習得。
特長②AI・データ分析領域の優良求人を紹介
非公開求人や選考直結型インターンをご紹介し、早期内定の獲得をサポート。
特長③長期インターンプログラム専用の学生コミュニティ参加可
学生同士で就活情報をシェアしたり、学習を進めるうえでアドバイスをしあったりできるコミュニティに参加可能。
☆☆☆
スキルアップAIのメールマガジンでは会社のお知らせや講座に関するお得な情報を配信しています。
配信を希望される方はこちら
また、SNSでも様々なコンテンツをお届けしています。興味を持った方は是非フォローしてください♪
Twitterはこちら
Facebookはこちら
LinkedInはこちら