NIPS2016 参加報告
うっかりしていて遅くなってしまいました。ゴメンナサイ。
NIPS2016に行ってきましたのでその参加報告です。
ちなみに NIPS とは Neural Information Processing Systems の頭文字で
この分野の国際会議の中で規模も大きく，歴史も30年以上を有する有名な国際会議です。
今年はスペインのバルセロナで12月5日から10日までの日程で開催されました。
プログラムによりますと，参加者は
| 年 | 参加者 |
|---|---|
| 2016年 | 5680名 |
| 2015年 | 3800名 |
| 2014年 | 2478名 |
| 2013年 | 1902名 |
| 2012年 | 1610名 |
| 2011年 | 1394名 |
| 2010年 | 1301名 |
と指数関数的に増加しています。ダラダラと全部紹介しても冗長ですので一日目の内容を紹介します。初日のセッションですから今，何が注目されているのかを推し量ることができる内容になっています。
一日目のセッション
8:30 am - 10:30 am - Tutorial Sessions
- Variational Inference: Foundations and Modern Methods
- David Blei, Shakir Mohamed, Rajesh Ranganath
- Crowdsourcing: Beyond Label Generation
- Jennifer Wortman Vaughan
- Deep Reinforcement Learning Through Policy Optimization
- Pieter Abbeel, and John Schulman
11:00 am -- 1:00 pm - Tutorial Sessions
- Nuts and Bolts of Building AI systems using Deep Learning
- Andrew Y Ng
- Natural Language Processing for Computational Social Science
- Cristian Danescu-Niculescu-Mizil, and Lillian J Lee
- Theory and Algorithms for Forecasting Non-Stationary Time Series
- Vitaly Kuznetsov, and Mehryar Mohri
2:30 pm - 4:30 pm - Tutorial Sessions
- Generative Adversarial Networks
- Ian Goodfellow
- ML Foundations and Methods for Precision Medicine and Healthcare
- Suchi Saria, and Peter Schulam
- Large-Scale Optimization: Beyond Stochastic Gradient Descent and Convexity
- Suvrit Sra, and Francis Bach
5:30 pm - 6:20 pm
- Invited Talk: Posner Lecture - Predictive Learning
- Yann LeCun
この中で私は8:30からは Blei のセッション，11:00からは Ng のセッション，
2:30からは Goodfellow，5:30からは LeCun を聴きました。
この4名は超有名人ですから紹介するまでもないでしょうが，一応，一行で紹介してみます。
- Blei さんは LDA (潜在ディレクリ配置 Latent Dirichlet Allocation，Journal of Machine Learning Research 3 (2003) 993-1022) の作成者です。
- Ng さんはスタンフォード大学，兼，百度の主任研究員を務める方で世間的にはグーグルのネコで有名になった方。
- Goodfellow さんは敵対ネットワーク GAN (Generative Adversarial Network) で有名でしょう。
- LeCun は FAIR (Facebook AI Research, フェイスブック人工知能研究所) の所長さんで 深層ネットワークの走りである LeNet の考案者です。かつ手書き数字データセット MNIST もこの人が作りました。
Ng さんと LeCun さんの講演は，一般向けで多くの研究を俯瞰した内容でしたが，Blei さんは変分推論 (Variational Inference) について，Goodfellow さんは GAN についてやや専門的に語っていました。
そこで，Blei さんと Goodfellow さんの講演について少しだけ説明させていただきます。
変分推論について
TL;DR
機械学習であれ，ニューラルネットワークであれ，多くの問題は所与のデータの持つ確率分布を推定することに帰結されます。近年，変分ベイズ，変分オートエンコーダなどと呼ばれるモデルが提案され注目を集めています。
ちょっとだけ釈迦に説法しますと
$w=(w_1,w_2,\ldots,w_d)$ を $d$ 次元ユークリッド空間の中のベクトルとします。 $p(w)$ を $d$ 次元ユークリッド空間の上の確率分布とします。 $p(w)$ を作りたくても高次元上の確率分布はなかなか作れないという問題があるので，全変数 $w_1, w_2,\ldots,w_d$ が独立であると仮定すると，
$$q(w) = q_{1}(w_1) q_{2}(w_2)\cdots q_{d}(w_d)$$
を考えることができて，相対エントロピー
$$D(q||p)=\int q(w)(\log q(w)- \log p(w))dw$$
を最小にする $q(w)$ を求め、$q(w)$ を $p(w)$ の近似と考えることを 平均場近似 といいます。
確率分布 $p(w)$ がある関数 $H(w)$ を用いて
$$p(w)=\frac{1}{Z}\exp(-H(w))$$
という形で与えられているときには、$D(q||p)$ を最小にする $q$ は、汎関数
$$ f(q)= \int q(w) (\log q(w) + H(w) ) dw $$
を最小にする $q$ と等しいことになります。ある $q(w)$ を用いて $q(w)=p(w)$ が成り立つときには
$$F = \min_{q} f(q) = -\log Z$$
になります。関数 $H(w)$ がハミルトニアンであるとき、$Z$ は分配関数と呼ばれます。
$F$ を自由エネルギーと呼びます。
通常 $p(w)$ は変数毎に独立であるとは限らないので $q(w)=p(w)$ が成り立つとは限りません。最小値である
$$F'=\min_{q}f(q)$$
を平均場近似による自由エネルギーといいます。定義から $F'\ge F$ であり、$F'-F$ が平均場近似の良さを表す量になります。
ベイズ推論においては，モデルから尤度関数を定義し，$p(w)$ を事後分布とするとき
$f(q)$ を最小にする $q(w)$ を変分法で求めることが行われます。これを 変分ベイズ法 などと呼びます。
GAN について
NIPS2016 では GAN についてのワークショップもありました。
すぎゃーんさんのアイドル顔画像生成が有名でしょうか。
GANについては、理論的な整備が進んできた印象です。
強化学習のアクタークリティック学習とくっつけたりもう少し発展する予感です。