はじめに
NIPS2018に参加して，昨日，日本へ帰国しました．5日間にわたり本当に沢山の方々の話を聞くことができ，とても有意義な時間を過ごしました．多くの講演や議論の中で，機械学習・人工知能分野には，2018年現在において，以下の3つの大きな流れがあるように感じました．
(1) 現状の機械学習パラダイムの不備を認識し，対策しようとする流れ
(2) アルゴリズムレベル，ツールレベルの漸進的改善を進める流れ
(3) 機械学習と神経科学の相互リンクを生み出そうとする流れ
記憶が新鮮なうちに，これら3つの潮流についてまとめておきます．NIPSの公式サイトには，招待講演を含め，多くの論文やスライドが公開されているので，気になる方はそっちも確認してみてください！
https://nips.cc/Conferences/2018/Schedule
総論
機械学習・人工知能分野は，ここ数年のうちに驚異的なスピードで発展を遂げてきました．2018年以降における流れは，ますます実世界における応用に向かっていくようです．実世界応用で課題となるのが，Robustness，Generalizability，Explainability の3つの尺度であり，これからの機械学習・人工知能分野は単に判断精度が高いだけでは許されなくなる可能性が示唆されています．加えて，機械学習の技術をもっと使いやすく・開かれたものにするためのAutoMLの研究も加速度を上げて行きそうです．一方で，神経科学と機械学習の間の方向性の違いやコラボレーションの希薄化は顕著に見えてきており，このギャップをどうしていくかも今後の大きな課題になるかもしれません．
1．現状の機械学習パラダイムの不備を認識し，対策しようとする流れ
機械学習分野は，深層学習によるブレークスルー以降，爆発的な成長を遂げてきました．一方で，NIPS2018の複数の招待講演者が指摘していたのが，既存の機械学習は依然として「Robustness (堅牢性)」「Generalizability (汎化可能性)」「Explainability (説明可能性)」が不足しているという点です．それぞれを簡単に説明します．
この学会における Robustness （堅牢性） は， 「学習済みモデルがどれくらい安定して期待通りの動作をするか」を示しているように感じました．セキュリティ的な観点から，学習に利用したデータセットに含まれていないサンプルや，そもそも誤動作を起こすことを目的とした Adversarial exampleが入力された場合においても，期待通りの動作をするようにしたいという課題感が提示されていました．
Generalizability (汎化可能性) は，「学習モデルや学習アルゴリズムが，どれだけ幅広いデータやタスクセットで有効に働くか」という意味で利用されているように思いました．逆に「汎化可能性が低い」と言う場合，それはある特定の状況においては有効に動作するが，その他の状況ではまったく使えないという意味を示します．実際，研究として実施される実験は，綺麗な状況やデータのみを利用している場合が多いため，実世界に適用しようした場合に役立たないという例がいくつもあるようです．今後の展開として，高い汎化可能性を持つモデルや検証実験を実行すべきと主張されていました．
Explainability (説明可能性) は，「人工知能が下した判断の根拠や理由を，人が理解しやすい形でどれだけ提示できるか」を示していました．これほど情報が溢れている現代社会において，「盲目的に人工知能によって下された決定を信じろ」という態度は，現実的には到底受け入れられるものではないという主張が複数ありました．医療に代表される生死を左右するような仕事への応用分野では，人工知能の判断に対する説明可能性が特に重視されているようです．高い精度で正しい判断ができることは当然のこと，下された判断に対して人間が理解可能な形で説明を付与するという動きは，機械学習分野が成熟し，実世界への応用が進んできたことを示す証拠となるように感じました．
今後の機械学習・人工知能分野の発展を考えるとき，単に判断精度が高いだけでは不十分であり，ここで挙げた3つの新たな尺度による評価が重視されていくことが示唆されます．この考え方を，自分の肌感として捉えることができただけでも，NIPSへ参加した価値はあったなと思います．
関連する発表を抜粋:
"Reproducible, Reusable, and Robust Reinforcement Learning", Joelle Pineau.
"Making Algorithms Trustworthy: What Can Statistical Science Contribute to Transparency, Explanation and Validation?", David Spiegelhalter.
2．アルゴリズムレベル，ツールレベルの漸進的改善を進める流れ
科学は膨大な数の人々が少しずつ知見と改善を積み重ねていくことで進んでいきます．今回のNIPSでも，従来のアプローチを上回る精度を持った学習アルゴリズムやスキーマがいくつも提案されていました．特に Computer Vision や Finance など，人工知能を特定の分野に応用する際のアルゴリズム改善について多数発表されていたのが印象的でした．
アプローチ改善という流れにおける１つの大きなテーマは，「Automatic Machine Learning (AutoML) 」だと感じました．AutoMLは，機械学習システムの構築に必要な設計やチューニングのプロセスを出来る限り自動化し，「機械学習の大衆化」を図ることをVisionとして掲げています．多くの研究者によって，機械学習の技術を利用する際に必要となる知識やノウハウをできる限りブラックボックス化・パッケージ化していくような活動が進められています，実際，いくつかの学会でAutoMLを用いた研究をちらほら見かけるので，少しずつ浸透してきていくのかなーと思います．
しかし，AutoMLの動きは先ほど論じた Robustness，Generalizability，Explainability という観点とは，論理的に逆行します． 特に Explainability については絶望的で，「中身がどうやって動いているか全く分かりませんが，こういう判断になります」って言われても困る人が多そうですw
一方で，「できるだけ早くプロトタイプやPoCを作りたい」「とりあえず適用可能か否かだけでも知りたい」っていう状況は現実的に多数存在します．このようなスピード重視のお試しや検証プロセスにおいては，安く早くお手軽に使える AutoML は今後，大きく存在感を増していくかもしれません．
関連する発表を抜粋:
"Automatic Machine Learning", Frank Hutter and Joaquin Vanschoren.
"Discovery of Latent 3D Keypoints via End-to-end Geometric Reasoning", Supasorn Suwajanakorn et al.
"Learning to Reconstruct Shapes from Unseen Classes", Xiuming Zhang et al.
3．機械学習と神経科学の相互リンクを生み出そうとする流れ
機械学習分野と神経科学分野の相互リンクや橋渡しを行うこと自体は，特に新しい流れではありません．そもそも Artificial Neural network が，人間の神経細胞間の結合を模倣する形で生まれています．つまり，神経科学から機械学習へのノウハウ導入はこれまでも沢山存在します．2018年における重要な点は，「機械学習分野で数学的に模索された計算モデルが，実際の人間の生体モデルの中において見出されつつある」という点です．例えば，Yoshua Bengio を含むチームによって発表された内容では，バックプロパゲーション（っぽい）情報処理プロセスが神経モデル内において見出される可能性を示しています．
一方で，あくまでも私見ですが，NIPSに参加している人たちは，あまり神経科学系の知見には興味がない感じがしました．神経関連の発表の際の聴衆の雰囲気や質問の数を考慮すると，彼らが求めているのはやはり"使える"アルゴリズムであって，その背景の厚みを増すことではないのかなと思いました．Demis Hassabisが指摘 1 していた通り，神経科学と機械学習の間のコラボレーションはかなり希薄になっているように見えました．このまま行くと，神経系の研究者の人たちは，この学会からいなくなってしまうかもなーと思います．
関連する発表を抜粋:
"Dendritic cortical microcircuits approximate the backpropagation algorithm", João Sacramento et al.
"Integrated accounts of behavioral and neuroimaging data using flexible recurrent neural network models", Amir Dezfouli et al.
-
D Hassabis et al., "Neuroscience-Inspired Artificial Intelligence", Vol.95, Neuron, 2017 ↩