60 Machine Learning Papers 2022

1. はじめに

この記事は自分のための忘備録のようなものです。2022年（2021年含む）の機械学習関連の注目されている論文をまとめた記事になります。

2. 参考サイト

以下の４つの記事を参考にさせていただきました。

• The Top 17 'Must-Read' AI Papers in 2022 [Top17]（22年8月5日）
• Top 10 Machine Learning Papers of 2022 [Top10]（22年10月25日）
• Top Machine Learning (ML) Research Papers Released in 2022 [Top22] (23年1月13日）
• 2022: A Year Full of Amazing AI papers - A Review [Top32]（23年1月14日時点）

3. 一覧

インデックス	タイトル	Top17	Top10	Top22	Top32
1	Boostrapped Meta-Learning	○	○	○
2	Privacy for Free: How does Dataset Condensation Help Privacy?	○	○	○
3	Competition-Level Code Generation with AlphaCode	○	○	○
4	LaMDA: Language Models for Dialog Applications	○	○	○
5	A Path Towards Autonomous Machine Intelligence Version 0.9.2, 2022-06-27	○	○	○
6	TranAd: Deep Transformer Networks for Anomaly Detection in Multivariate Time Series Data	○	○	○
7	Multi-Objective Bayesian Optimization over High-Dimensional Search Spaces	○	○
8	Why do tree-based models still outperform deep learning on tabular data?	○	○
9	A Commonsense Knowledge Enhanced Network with Retrospective Loss for Emotion Recognition in Spoken Dialog	○		○
10	Robust Speech Recognition via Large-Scale Weak Supervision			○	○
11	OPT: Open Pre-trained Transformer Language Models			○	○
12	Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding			○	○
13	No Language Left Behind: Scaling Human-Centered Machine Translation			○	○
14	A Generalist Agent			○	○
15	Tabular Data: Deep Learning is Not All You Need	○
16	Affective Signals in a Social Media Recommender System	○
17	ItemSage: Learning Product Embeddings for Shopping Recommendations at Pinterest	○
18	Coordination Among Neural Modules Through a Shared Global Workpace	○
19	Magnetic control of tokamak plasmas through deep reinforcement learning	○
20	Self-Supervision for Learning from the Bottom Up	○
21	Neural Architecture Search Survey: A Hardware Perspective	○
22	What Should Not Be Contrastive In Contrastive Learning	○
23	Artificial Replay: A Meta-Algorithm for Harnessing Historical Data in Bandits		○
24	Differentially Private Bias-Term only Fine-tuning of Foundation Models		○
25	Restoring and attributing ancient texts using deep neural networks			○
26	Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer			○
27	PaLM: Scaling Language Modeling with Pathways			○
28	The Forward-Forward Algorithm: Some Preliminary Investigations			○
29	Focal Modulation Networks			○
30	Learning inverse folding from millions of predicted structures			○
31	MineDojo: Building Open-Ended Embodied Agents with Internet-Scale Knowledge			○
32	Is Out-of-Distribution Detection Learnable?			○
33	Gradient Descent: The Ultimate Optimizer			○
34	ProcTHOR: Large-Scale Embodied AI Using Procedural Generation			○
35	Resolution-robust Large Mask Inpainting with Fourier Convolutions				○
36	Stitch it in Time: GAN-Based Facial Editing of Real Videos				○
37	NeROIC: Neural Rendering of Objects from Online Image Collections				○
38	SpeechPainter: Text-conditioned Speech Inpainting				○
39	Towards real-world blind face restoration with generative facial prior				○
40	4D-Net for Learned Multi-Modal Alignment				○
41	Instant Neural Graphics Primitives with a Multiresolution Hash Encoding				○
42	Hierarchical Text-Conditional Image Generation with CLIP Latents				○
43	MyStyle: A Personalized Generative Prior				○
44	BlobGAN: Spatially Disentangled Scene Representations				○
45	DALL·E Mini				○
46	Dual-Shutter Optical Vibration Sensing				○
47	Make-a-scene: Scene-based text-to-image generation with human priors				○
48	BANMo: Building Animatable 3D Neural Models from Many Casual Videos				○
49	Panoptic Scene Graph Generation				○
50	An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion				○
51	Expanding Language-Image Pretrained Models for General Video Recognition				○
52	MAKE-A-VIDEO: TEXT-TO-VIDEO GENERATION WITHOUT TEXT-VIDEO DATA				○
53	DreamFusion: Text-to-3D using 2D Diffusion				○
54	Imagic: Text-Based Real Image Editing with Diffusion Models				○
55	eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers				○
56	InfiniteNature-Zero: Learning Perpetual View Generation of Natural Scenes from Single Images				○
57	Galactica: A Large Language Model for Science				○
58	Real-time Neural Radiance Talking Portrait Synthesis via Audio-spatial Decomposition				○
59	ChatGPT: Optimizing Language Models for Dialogue				○
60	Production-Ready Face Re-Aging for Visual Effects				○

4. Top 6の紹介

上記で３つの媒体で取り上げられていた６本を簡単に紹介します。（ちゃんと読んだものはひとつもありませんが）[Top32]サイトはYouTubeでの紹介動画もリンクにあり実践的で視覚に訴えることのできる論文が多い印象でした。なのでこのTop 6には被らなかったのだと思います。

• [1] Boostrapped Meta-Learning (2022) – Sebastian Flennerhag et al.
  メタ最適化に係る困難をメタ学習者が自身を教えることで克服するアルゴリズムを提唱している。このアルゴリズムは勾配を用いた学習を用いてモデルの性能向上を実現している。また、Bootstrappingを使うことによる可能性にも言及している。
• [2] Privacy for Free: How does Dataset Condensation Help Privacy? (2022) – Tian Dong et al.
  機械学習において凝縮化という手法でデータセットのリークを抑制する方法を紹介している。これにより学習におけるデータの効率性を損なうことなくプライバシーを守ることができるとしている。
• [3] Competition-Level Code Generation with AlphaCode (2022) – Yujia Li et al.
  AlphaCodeというコードの自動生成システムの論文。深い推論が必要になる競技プログラミングにも通用するレベルのコード生成が可能としている。
• [4] LaMDA: Language Models for Dialog Applications (2022) – Romal Thoppilan et al.
  トランスフォーマーを使った対話システムであるLaMDAを紹介している。モデルのチューニングに人間がラベル付けしたデータを使うなど、外部リソースを使う点が特徴的である。
• [5] A Path Towards Autonomous Machine Intelligence Version 0.9.2, 2022-06-27 (2022) – Yann LeCun
  汎用的なAIが実現するまでの道筋について扱っている。
• [6] TranAd: Deep Transformer Networks for Anomaly Detection in Multivariate Time Series Data (2022) – Shreshth Tuli, Giuliano Casale and Nicholas R. Jennings
  トランスフォーマーを用いた教師なし時系列異常検知アルゴリズムを扱っている。様々なフィールドで有効性を示しているアルゴリズムは時系列設定になっても有効であることを示している。

5. 自分が読んだことのあるもの

• [8] Why do tree-based models still outperform deep learning on tabular data? (2022) – Leo Grinsztajn, Edouard Oyallon and Gael Varoquaux
  表形式のデータにおいてなぜ木構造のアルゴリズムがディープラーニングよりも優れた成果を示すことが多いのかを考察している。
  • 特定のデータセットに対してはディープラーニング型が木構造アルゴリズムよりわずかに優れた成果を出すことがある。FT-Transformer, Resnetなどの表形式データに特化したディープラーニングモデルが言及されている。
  • 異なったデータセットへの汎用性では木構造アルゴリズムに軍配があがる。
  • ニューラルネットはあまり滑らかでない関数を学ぶのに適していない可能性がある。
  • ニューラルネットは有用でない特徴量から悪影響を受けやすい可能性がある。
  • それぞれの特徴量の意味合いを汲んだ木構造に対してニューラルネットの回転不変な点がパフォーマンスの劣後につながっている可能性がある。
• [15] Tabular Data: Deep Learning is Not All You Need (2021) – Ravid Shwartz-Ziv, Amitai Armon
  表形式のデータセットの学習について、提唱されているディープラーニング型のモデルとXGBoostのパフォーマンスを比較している。
  • 特定のデータセットに強いディープラーニング型が存在しているもののXGBoostの方が汎用的である。
  • 学習コストの面でもXGBoostが優れている。
  • XGBoostとディープラーニング型とのアンサンブルにより更なる性能向上が確認された。
• [23] Artificial Replay: A Meta-Algorithm for Harnessing Historical Data in Bandits (2022) - Siddhartha Banerjee, Sean R. Sinclair, Milind Tambe, Lily Xu, Christina Lee Yu
  ヒストリカルデータの活用によってバンディット問題を効率的に最適化する方法が紹介されている。
  • ヒストリカルデータを全て用いたプリトレーニングは計算量効率が悪い。
  • 各エポックにて選ばれたアクションがヒストリカルデータの中にあれば、実際にそのアクションを取るのではなくヒストリカルデータを参照すればよい。
  • IIDataという特徴に該当するアルゴリズムであれば上記プロセスにてヒストリカルデータを全て用いたプリトレーニングと同じパフォーマンスが達成可能であることを理論的に説明している。
  • IIDataはこの論文で提唱されている概念であり、アクションの決定時にそれぞれのアクションが個別に独立して評価されることを指している。
  • これを満たさないアルゴリズムも多数あり、論文の中では通常のUCBを改良することでIIDataを満たす手法も紹介されている。

6. 感想

• やっぱり2022年は自然言語系ではGPT、ビジョン系ではDiffusionの年だった。
• [2,24]などDifferential Privacy関連の論文が増えてきている気がするのでどこかで基礎を勉強したい。
• 今後も興味のある論文を読んでいきたいと思います。特にPractical Application系は比較的読みやすい傾向にあるので。[6] TranAd, [14] Gato, [31] MineDojoとか。
• Theoretical系も挑戦したいです。[1] Boostrapped Meta-Learning, [7] Multi-Objective Bayesian Optimization, [28] FF Algorithmなどなど。