先週スペインのバルセロナで開催された機械学習のトップ会議NIPS 2016に参加してきました。論文はWebで公開されているので誰でも読むことができますが、口頭発表を聞いたりポスター発表のディスカッションに参加したり休憩時間中の会話などからも学びがあるため、最先端の研究を知るために参加する意義は失われていないように思います。
NIPSの参加者は指数的に増加していると言われており、今年は5000人（！）の参加者がいました。当然論文の査読も厳しく、採択率は20％前後と言われています。分野のトレンドとしてはディープラーニングのブームが続いていますが、認識系はかなり成熟してきたのでGANなどの生成系と強化学習や外部記憶との組み合わせに中心が移ってきているようです。特に強化学習は会議中にシミュレーション環境のOpen AI UniverseとDeepMind Labが公開され、熱気を感じました。
5000人の聴衆を前にホワイトボードで講義をするスタンフォード大・バイドゥのAndrew Ng先生（もちろん巨大スクリーンで拡大される）。博士課程の学生へのアドバイス：１．論文をたくさん読む ２．既存の結果を再現する ３．汚れ仕事をする（データ収集・前処理など）とのこと。
チュートリアルはこのほか強化学習とGANを聞きに行きました。ベストペーパーは強化学習にプラニングモジュールを組み込んだ論文が選ばれました（早速実装している日本の人がいますね！）。RNNシンポジウムではネイチャー論文のDifferentiable Neural Computerをはじめ、アルゴリズム学習と記憶モジュールに関する発表がありました。ポスター発表はRNNや機械翻訳を中心に聞きに行き、LightRNNという効率化手法、遷移行列へのDropoutの適用、Actor-Criticを使ったBLEU最適化、単言語コーパスとパラレルコーパスを組み合わせた機械翻訳などが面白いなと思いました。
ディープラーニングの効率化のワークショップでは、量子化（Quantization）や枝刈り（Pruning）から専用ハードウェアの開発までいろいろな手法について発表がありました。RNNにも適用されているので調べてみたいと思います。対話システムのワークショップでは、単純なseq2seqから一歩進んだモデルや、強化学習を使って対話的に学習するエージェントの発表がありました。
バルセロナの世界遺産、サグラダ・ファミリア。
私はACLなど自然言語処理系のカンファレンスには参加したことがありますが、word2vecやニューラル翻訳などの重要な研究がNIPSで発表されるようになったため、今回初めてNIPSに参加することにしました。またNIPSに行く前に予習としてSuttonの強化学習本を読んで方策勾配法を実装したりGANの元論文を読んだりしていったため、なんとかついていくことができたかなと思います。Andrew Ng先生が言っていたように機械学習について深く理解するには既存論文の結果を再現できるようになることが第一歩となるので、来年はその辺りを重視していきたいと思いました。