＜目次＞
- はじめに
- 第1回：コンピュータビジョン編
- 第2回：自然言語処理編
- 第3回：強化学習編
- 第4回：実務応用編
- 次回予告
1. はじめに
スキルアップAIでは、上記の4講座を始めとして、現在、そしてこれから注目されるであろう最先端の機械学習/ディープラーニング技術に関する講座を開講しております。このような講座を開講していく中で、スキルアップAIの講師陣が注目している最先端技術をぜひ知りたいというお声を多くいただきました。
そこで、自動機械学習（AutoML）を専門としICMLなどのトップカンファレンスへの論文採択経験もある斉藤と、需要予測・異常検知など様々な分野で機械学習/ディープラーニングの産業応用に取り組んできた小縣が中心となって、スキルアップAI講師陣にて厳選した最新論文を毎年紹介しております。
今回は、下記の4回に分けて合計30本の論文をご紹介いたします。
- 第1回：コンピュータビジョン編
- 第2回：自然言語処理編
- 第3回：強化学習編
- 第4回：実務応用編
著者実装が公開されているものは、その情報も併せてまとめました。ぜひ、今後の学びにご活用ください！
今回は取り上げた論文一覧を紹介いたします。
2. 第1回：コンピュータビジョン編
第１回では、「コンピュータビジョン」に関する論文として.生成モデル、画像認識、物体検出などの最新論文を紹介します！
「OpenGAN: Open-Set Recognition via Open Data Generation」
オープン認識精度の向上のためにGANを利用する手法の提案
「NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis」
二次元画像を入力として3Dレンダリングを行うNeRFの提案
「NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections」
異なる環境下で撮影した入力画像にも対応したNeRF
「Swin Transformer: Hierarchical Vision Transformer Using Shifted Windows」
新たなVision TransformerであるSwin Transformerを提案
「MLP-Mixer: An all-MLP Architecture for Vision」
多層パーセプトロンをベースにした画像処理モデルを提案
「Pay Attention to MLPs」
MLPをベースにすることで、AttentionやTransformerを不要とするモデルを提案
「Exploring simple siamese representation learning」
自明解の出力を抑止するSiamese Networkを提案
「A Simple Framework for Contrastive Learning of Visual Representations」
従来よりもシンプルな対照学習モデルを提案
「Transformation Driven Visual Reasoning」
Visual Reasoningにおけるデータセットを提案
3. 第2回：自然言語処理編
第2回では、「自然言語処理」に関する論文として機械翻訳における最適な語彙のサイズを求めるアルゴリズムやテキスト生成タスクにおけるデータ拡張の新手法などの最新論文を紹介します！
「Vocabulary Learning via Optimal Transport for Neural Machine Translation」
機械翻訳における適切な語彙サイズを求めることで、辞書サイズ削減を行うアルゴリズム「VOLT」を提案
「All That’s ‘Human’ Is Not Gold: Evaluating Human Evaluation of Generated Text」
モデルの性能向上により、自然言語生成の評価指標を人間とすることを疑問視することを提唱
「EarlyBERT: Efficient BERT Training via Early-bird Lottery Tickets」
”宝くじ仮説”を用いてBERTなど自然言語処理モデルの訓練時間の削減方法を達成
「Data Augmentation for Text Generation Without Any Augmented Data」
テキスト生成タスクにおけるデータ拡張の新手法を提案
「KaggleDBQA: Realistic Evaluation of Text-to-SQL Parsers」
新たな質問応答におけるデータベースであるKaggleDBQAの提案
「Towards Robustness of Text-to-SQL Models against Synonym Substitution」
新たなText-to-SQLのデータセットであるSpider-Synを提案
「When Attention Meets Fast Recurrence: Training Language Models with Reduced Compute」
低計算コストで言語モデリングが可能な再帰とアテンションの両方に着目したSRU++を提案
4. 第3回：強化学習編
第3回では、「強化学習」に関する論文としてTransformer/BERTの発展モデルや新たな学習法・正則化方法の提案に関する内容などの最新論文を紹介します！
「CoBERL: Contrastive BERT for Reinforcement Learning」
強化学習における新たなエージェント「Contrastive BERT for Reinforcement Learning（CoBERL）」を提案
「Decision Transformer: Reinforcement Learning via Sequence Modeling」
Transformerやzero-shot学習などから着想を得た強化学習方法「Decision Transformer」を提案
「Zeroth-Order Actor-Critic」
進化戦略と方策勾配を組み合わせたZOAC（Zeroth-Order Actor-Critic）を提案
「Efficient Learning of Safe Driving Policy via Human-AI Copilot Optimization」
新たなhuman-in-the-loop学習法であるHACO（Human-AI Copilot Optimization）を提案
「Regularizing Action Policies for Smooth Control with Reinforcement Learning」
強化学習の新たな正則化方法であるCAPS（Conditioning for Action Policy Smoothness）を提案
「SimGAN: Hybrid Simulator Identification for Domain Adaptation via Adversarial Reinforcement Learning」
一度学習した方策を他のドメインに転移するドメイン適応の新たなフレームワークであるSimGANを提案
「Data-Efficient Learning for Complex and Real-Time Physical Problem Solving using Augmented Simulation」
人間が直感的に理解できても、機械には難しいタスクを実用的な時間で学習できるモデルを提案
5. 第4回：実務応用編
第4回では、「実務応用」に関する論文としてニューラルネットワークの構造最適化やアクティブラーニング、モデルの枝刈り、推薦システムへの応用などの最新論文を紹介します！
「An Embedding Learning Framework for Numerical Features in CTR Prediction
広告のクリック率（Click-Thorough Rate: CTR）予測の新たなモデルであるAutoDisを提案
「VisRel: Media Search at Scale」
メディア検索システムであるVisRelを提案
「We Know What You Want: An Advertising Strategy Recommender System for Online Advertising」
Alibabaグループのインターネット広告におけるターゲティングに関する論文
「Preference Amplification in Recommender Systems」
Facebookのレコメンドに関する研究
「Value Function is All You Need: A Unified Learning Framework for Ride Hailing Platforms」
DiDi、Uberといったride-hailing（配車）サービスの輸送効率向上に関する論文
「SizeFlags: Reducing Size and Fit Related Returns in Fashion E-Commerce」
ファッション系のオンラインストアにおける電子広告に関する研究
「A Semi-Personalized System for User Cold Start Recommendation on Music Streaming Apps」
ストリーミングサービスを運営するDeezerが発表した実際に運用中のレコメンドシステムに関する論文)」
6. 次回予告
次回は「コンピュータビジョン編」に関する最新論文を紹介します！ご期待ください！
スキルアップAIでは、最新論文を理解するために必要な深層学習の基礎を学ぶ「現場で使えるディープラーニング基礎講座」を開講しています。基礎から学びたい方は、ぜひご検討ください。
また、スキルアップAI技術ブログでは
などGANや異常検知などの最新論文の解説を行っております。こちらも併せてご覧ください。
また、弊社がリリースする論文検索アプリ「ScholarPlanets」もぜひご活用ください。
25卒向け！AIエンジニアになるための長期インターンプログラム参加者募集中！
25卒学生向けに、AIの基礎を学びながら就活も一括サポートする無料カリキュラムを提供しています。
修了するとE資格の受験資格も獲得できるプログラムとなっています！
特長①AIエンジニアやデータサイエンティストの基礎が身に付く
AIジェネラリスト基礎講座や機械学習のためのPython入門講座など、市場価値向上のための基礎を習得。
特長②AI・データ分析領域の優良求人を紹介
非公開求人や選考直結型インターンをご紹介し、早期内定の獲得をサポート。
特長③長期インターンプログラム専用の学生コミュニティ参加可
学生同士で就活情報をシェアしたり、学習を進めるうえでアドバイスをしあったりできるコミュニティに参加可能。
☆☆☆
スキルアップAIのメールマガジンでは会社のお知らせや講座に関するお得な情報を配信しています。
配信を希望される方はこちら
また、SNSでも様々なコンテンツをお届けしています。興味を持った方は是非チェックしてください♪
Twitterはこちら
Facebookはこちら
LinkedInはこちら
スキルアップAI公式YouTube AIビジネスチャンネルはこちら