2013年 今最も旬な機械学習の研究者たち9人

今年一年の機械学習を素人的に振り返ってみるとでぃーぷらーにんぐがすごかったなー、みたいなミーハーな感想がまず思い浮かぶわけなんだけども、実際のところ今ホットな研究は何なんだろうということで、泣く子も黙る機械学習の代表的な国際会議、NIPSとICMLの過去3年分の採択論文を著者にフォーカスしてみることにした。

1st authorの重要度をそれ以外の著者よりも重くしてスコアづけした。
(複数人の著者がいる場合は1st authorを0.8として、残りの0.2を他の著者に分配、1人の場合は1とする)
参考:
IR研究者をスコアリングしてみた - 睡眠不足？！
NLP(自然言語処理)研究者をスコアリングしてみた

以下各々の自己紹介ページを参照しつつ、該当会議での1st author論文タイトルを引用して、スコアの上から順番にみていきます。名寄せミスなどによる集計ミスがあったらごめんなさい。

Anima Anandkumar

• Spectral Methods for Learning Multivariate Latent Tree Structure (NIPS 2011)
• High-Dimensional Graphical Model Selection: Tractable Graph Families and Necessary Conditions (NIPS 2011)
• A Spectral Algorithm for Latent Dirichlet Allocation (NIPS 2012)
• Latent Graphical Model Selection: Efficient Methods for Locally Tree-like Graphs (NIPS 2012)
• Learning Mixtures of Tree Graphical Models (NIPS 2012)
• When are Overcomplete Topic Models Identifiable? Uniqueness of Tensor Tucker Decompositions with Structured Sparsity (NIPS 2013)
• Learning Linear Bayesian Networks with Latent Variables (ICML 2013)

カルフォルニア大学アーバイン校の准教授。
グラフィカルモデルや潜在変数モデルの高次元学習が専門らしい。
ダントツのスコアトップでした。毎年NIPSやICMLに投稿していて、かつそのほとんどがfirst authorなのがすごい・・・

Nicolò Cesa-Bianchi

• Efficient Online Learning via Randomized Rounding (NIPS 2011)
• A Linear Time Active Learning Algorithm for Link Classification (NIPS 2012)
• Mirror Descent Meets Fixed Share (and feels no regret) (NIPS 2012)
• A Gang of Bandits (NIPS 2013)
• Online Learning with Switching Costs and Other Adaptive Adversaries (NIPS 2013)

ミラノ大学の教授。
学習理論からゲーム理論、はたまたバイオインフォマティクスとカバー範囲がかなり広い。
個人的には教授なのにfirst authorとしてガンガン論文を通しているのが、驚きで新鮮だった。

Alekh Agarwal

• Stochastic convex optimization with bandit feedback (NIPS 2011)
• Noisy matrix decomposition via convex relaxation: Optimal rates in high dimensions (ICML 2011)
• Distributed Delayed Stochastic Optimization (NIPS 2011)
• Stochastic optimization and sparse statistical recovery: Optimal algorithms for high dimensions (NIPS 2012)
• Selective sampling algorithms for cost-sensitive multiclass prediction (ICML 2013)

マイクロソフトリサーチのポスドク研究者。
確率的な最適化に関する論文が目立つ。単なる理論で終わらさずにそれが実際のデータセットに対し計算可能であるか、学習と計算のトレードオフについて日々思いを馳せている。

Francis Bach

• Non-Asymptotic Analysis of Stochastic Approximation Algorithms for Machine Learning (NIPS 2011)
• Shaping Level Sets with Submodular Functions (NIPS 2011)
• On the Equivalence between Herding and Conditional Gradient Algorithms (ICML 2012)
• Non-strongly-convex smooth stochastic approximation with convergence rate O(1/n) (NIPS 2013)

INRIA (フランス国立情報学自動制御研究所) の研究者。
かつては機械学習界のスーパースターMichael Jordan先生の元で研究をしていたらしい。専門分野はグラフィカルモデルや凸最適化、信号処理など。
ちなみにINRIAは機械学習に強いだけでなく、OCamlやCoqもここで開発されたらしい。

Samory Kpotufe

• k-NN Regression Adapts to Local Intrinsic Dimension (NIPS 2011)
• Pruning nearest neighbor cluster trees (ICML 2011)
• Gradient Weights help Nonparametric Regressors (NIPS 2012)
• Adaptivity to Local Smoothness and Dimension in Kernel Regression (NIPS 2013)
• Regression-tree Tuning in a Streaming Setting (NIPS 2013)

Toyota Technological Institute Chicago (豊田工業大学シカゴ校) の研究者。
特にノンパラメトリックな手法や、高次元な統計的学習を専門とする。
(豊田工業大学シカゴ校なんてあったの恥ずかしながら初めて知った。。)

Elad Hazan

• Beating SGD: Learning SVMs in Sublinear Time (NIPS 2011)
• Newtron: an Efficient Bandit algorithm for Online Multiclass Prediction (NIPS 2011)
• A Polylog Pivot Steps Simplex Algorithm for Classification (NIPS 2012)
• Projection-free Online Learning (ICML 2012)
• Linear Regression with Limited Observation (ICML 2012)

イスラエル工科大学の准教授。
機械学習や最適化の根本的な問題に対して効率的なアルゴリズムを研究している。
特に理論よりの機械学習トップカンファレンスであるCOLTにも論文を通しており、イスラエル工科大学の響きと相まってなんかもうすごい印象。

Victor Gabillon

• Multi-Bandit Best Arm Identification (NIPS 2011)
• Classification-based Policy Iteration with a Critic (ICML 2011)
• Best Arm Identification: A Unified Approach to Fixed Budget and Fixed Confidence (NIPS 2012)
• Adaptive Submodular Maximization in Bandit Setting (NIPS 2013)
• Approximate Dynamic Programming Finally Performs Well in the Game of Tetris (NIPS 2013)

本ランキング初のPh. Dの学生(！)
強化学習を専門とする。前述のINRIAでも研究しているらしい。
該当NIPSの論文を見てもバンディットアルゴリズムに関連するものがほとんどである。

Richard Socher

• Unfolding Recursive Autoencoders for Paraphrase Detection (NIPS 2011)
• Parsing Natural Scenes and Natural Language with Recursive Neural Networks (ICML 2011)
• Recursive Deep Learning on 3D Point Clouds (NIPS 2012)
• Reasoning With Neural Tensor Networks for Knowledge Base Completion (NIPS 2013)
• Zero-Shot Learning Through Cross-Modal Transfer (NIPS 2013)

お待たせしました、Richard Socherです。
現在StanfordのPh. Dコースに在籍(！)
自然言語処理界では知らぬものはおそらくいない、Chris Manning, Andrew Ngらの研究グループ。Deep learningを自然言語処理へと応用した第一人者の一人。
ACLやEMNLPなど自然言語処理のトップカンファレンスにも論文を通しまくっていて、プロフィール写真を見てもどこかサイヤ人っぽい。

Eunho Yang

http://www.cs.utexas.edu/~eunho/
On the Use of Variational Inference for Learning Discrete Graphical Models (ICML 2011)
Graphical Models via Generalized Linear Models (NIPS 2012)
Conditional Random Fields via Univariate Exponential Families (NIPS 2013)
Dirty Statistical Models (NIPS 2013)
On Poisson Graphical Models (NIPS 2013)

テキサス大学のPh. Dの学生(！)
グラフィカルモデルに関する論文が目立つ。

最後に

バンディットアルゴリズム関連の強化学習の研究は割りとホットそうな印象を受ける。
前にQiitaでもA/Bテストよりすごい？バンディットアルゴリズムとは一体何者かのように話題になっていたけど、そのときはA/Bテストの文脈で出てきていたためかなんとなくスルーしていた。
しかし今回のランキングでもバンディットアルゴリズム関連の研究はそこそこあって、しかもつい先日某検索ポータル会社で働いている友人もバンディットアルゴリズムをプッシュしていたので、これを気に最初から勉強しておきたい。
それとやはり自然言語処理におけるDeep Learningの応用はなんだかおもしろそうで、先日このアドベントカレンダーにも投稿していた@kiyukutaの素晴らしい発表資料があるので、これを参照しつつ、このあたりの話題にもついていけるような基礎体力を来年はつけていたい気運である。
自然言語処理まわりのDeep Learningを自分なりにまとめてみた — KiyuHub

それでは、みなさま、良いクリスマスと良いお年を。