NIPSとは？
LongBeach@USで開催された機械学習のICMLと並ぶ主要な国際会議NIPS 2017に参加してきました。論文の査読は厳しく、採択率は20％台と言われています。口頭発表やチュートリアルのビデオをオンラインで調光したり、プロシーディングがWebで公開されている論文を読むことができます。とはいえ、口頭発表を聞いたりポスター発表のディスカッションに参加したり休憩時間中の会話などからも学びがあるため、最先端の研究を知るために参加する意義は大きいと思います。
NIPSはアカデミックな会議ではなくなった？！
NIPSの参加者は桁違いに増加中です！１０年前は、百人単位の参加者だったのが、５年前から、１０００人台を優に超えて来て、昨年は5000人、今年は８０００人(!)の参加者がいました。このペース
行くと２０３５年には７０億人を突破するそうですｗｗｗ
大学の教員や企業の研究所などの人員の絶対数からすると、明らかに桁違いに多いので、なぜだろうと思いましたが、会場には投資ファンドから派遣されて来た社員や、フロントエンドの実装を普段の職務にしているエンジニアなど幅広い層の参加者がいた模様です。
実際に、スポンサー企業の一つが機械学習企業への投資ファンドで、エンジニアや研究ではなく、ファンドのリクルートをやっていたりしました。また、1年前に設立されたばかりのgraphcoreというハードウェア・アーキテクチャのスタートアップ企業がスポンサーで出展したりしていました。
また、prowlerというスタートアップ企業が本会議に論文を４つ発表するなど、大企業による人工知能スタートアップ企業の買収の嵐が終わっても次々と最先端の人工知能技術を売りにするスタートアップ企業が立ち上がっているとも感じました。
日本の企業においてはビジネスーアカデミックと区切りをつける傾向も見受けられます。しかし、世界レベルでは、機械学習関連の技術革新のスピードがあまりにも速くなり過ぎてしまった、かつ、そのインパクトが桁違いに巨額の利益に関わり出遅れが企業の存続にとって致命的になることが認識されているが故に、最先端の国際会議に直接規模の大小を問わずテック企業がデモを出展したり論文を発表したりする必要があるのではないかと感じました。
ポスト深層学習＆ポスト深層強化学習
分野のトレンドとしてはディープラーニングや深層強化学習のブームが続いてはいますが、さらに「次」を見据えたチュートリアル＆招待講演＆論文発表なども行われていました。
推論(Reasoning)や関係(Relation)の学習、関連するプログラミングフレームワーク
今の深層学習の苦手な作業をできるようにしようという試みです。
最近Uberが発表して話題になったフレームワークPiRoなどに代表されるような確率的プログラミングの説明を含むチュートリアルも充実していました。
またスタンフォード大学の先生から、社会科学に現れる人間同士の関係性を分析するために、確率的推論を用いているという紹介もありました。
脳科学の知見に基づく表現学習
招待講演で、脳のshallow learning via deep representation of brain というキーワードとともに、脳科学や神経科学の知見にもとずいた「自然に複雑な」情報の表現
ロボティクスへの実用を見据えた深層強化学習
囲碁やゲームプレイなどで有名になった分野ではありますが、さらに複雑な環境における学習に必要なピースとして以下が挙げられていました。
1. マルチタスク学習 （複数のタスクを同時並行で学習）
2. One Shot Learning （１つの事例を一般化して学習）
3. 報酬の階層化 （報酬）
メタラーニング
これは、ちょっと説明しずらいのですが、大雑把にいうと「資料を探すときは最初に目次を見る」と言った、特定の知識や分野に限らない普遍的な学習方法の取得に関する発表やワークショップが盛り上がっていました。
マルチタスクよりもさらに野心的で「学習の方法」も学習させたい、つまり、人間が学習の方法を一つ一つ開発する必要がなくなるようにしよう！というものです。
純粋数学の輸入
グラフ理論など離散数学や組み合わせ論の分野の第一人者が機械学習に新規参入したり、常微分方程式&力学系&最適輸送という解析学の先端的な分野を機械学習へ輸入しようなどの発表やワークショップも見受けられ、実装されていたりしました。
Fairness and Bias in Machine Learning
突然ですが、明日から法律で「あなたの整体データをAIに入力して、犯罪者である傾向があるかチェックします！傾向の数値が一定値以上のものは、実際に犯罪を犯していなくても刑務所に入れます！」なんて決まったらどうしますか？
あるいは、「裁判の有罪OR無罪をAIに決めてもらいます」という社会についてどう思うでしょうか？
機械学習が実社会で使われるようになってくると、その使われ方が公平を伴わないものであった場合には、AIの名の下による専制を人間自体が招いてしまうこともあります。チュートリアルや招待講演の背後にある懸念は、すでに社会の中での少数派である特定の宗教、人種、性的指向性を持つ人々が受けている不公平な法的取り扱いを、データに潜む不公平なバイアスを考慮しないにもかかわらず「AIが判断しているのだから従え！」と強制されるような事態を、防ぎたいということだと感じました。
関連して、DeepMind社にAIと倫理に関するプロジェクト( https://deepmind.com/applied/deepmind-ethics-society/ )が立ち上がっていることも紹介されていました。実際にこちらのプロジェクトでは、裁判の量刑をAIに決めさせた結果として、同一の犯罪内容であっても、特定の人種に対してだけ重大な刑罰が課させる傾向があることを調べている研究者が紹介されています。