はじめに
2019年12月8日-14日にカナダ・バンクーバーで開催されたNeurIPS（旧称：NIPS）へ参加してきました。図らずも2年連続の参加（去年の参加ログ）となったこともあり、現場の空気にも少しずつ慣れてきました。4日間の本会議＋2日間のワークショップを通して、機械学習・人工知能分野の最前線の研究者たちがどのような問題意識を持っているかを少し理解することができました。特に今回のNeurIPSでは「従来の特化型AIの成功体験から脱し、より人間の知能に近い汎用AIの開発に歩みを進めていこう」とする姿勢が随所に見受けられました。具体的には、以下の3つの大きな流れがNeurIPSに参加している研究者たちの根底にあるように感じました。
(1) 従来の機械学習モデルの限界を明確化しようとする流れ
(2) 特化型AIから汎用型AIの開発へ向かおうとする流れ
(3) 汎用型AIの実現に向けた神経科学の援用と生物学的妥当性
まだ記憶が新鮮なうちに、これらの3つのトレンドについてまとめておきたいと思います。NeurIPS2019公式サイトには、招待講演やチュートリアルで使用された多くのスライド、ポスター、講演動画が公開されています。学会で話された内容の詳細に興味のある方は、そちらもチェック頂けると良いかと思います！
総論
従来の機械学習モデルの成功は、
・ルールが明確な特定のタスクにおいて
・適切な損失関数が設計可能、かつ
・訓練用データが潤沢に用意されている
という特殊なケースのみに限定されていました。
一方で、われわれ人間の知能は、
・複数の課題に対して同時に能力を洗練していくことが可能
・少数サンプルからでも環境横断的に適用可能な知識を獲得可能
であることが直感的にも実験的にも明らかになっています。
それでは、従来のタスク特化型モデルの成功体験から脱し、より人間の知能に近い柔軟で汎用的な機械学習モデルを構築するにはどうすれば良いのでしょうか？ Yoshua Bengio はその主たる障壁が、従来アルゴリズムの多くが前提としている「i.i.d（独立同分布）の仮定」にあると指摘します。そして、i.i.d の仮定を部分的に緩め、「ケース横断的に適用可能な知識」と「ケース特異的にしか使えない知識」を切り分けて学習するようなモデルの発展が必要であると主張します。そして、この発想はそのままメタ・ラーニングの考え方へと繋がります。これからの機械学習・人工知能分野では、より柔軟かつ汎用的なAIの実現を目指して、人間の脳や心理についての知見を拠り所にした、メタ・ラーニングや強化学習の研究へ注目が集まると予想されます。
従来の機械学習モデルの限界を明確化しようとする流れ
深層学習の理論的・実践的な発展によって、人工知能が多種多様な課題の解決に効果を発揮していることには、もはや疑いの余地はありません。一方で、これまで得られてきた機械学習モデルの成功は、(1) ルールが明確な特定のタスクにおいて、(2) 適切な損失関数が設計可能、かつ (3) 訓練用データが潤沢に用意されている、という特殊なケースのみに限定されていることも事実です。そして、現代の主流モデルはあまりにも特定のタスクに特化しすぎてしまうために、訓練データ外のサンプルへの汎化性能が低く、破滅的忘却（Catastrophic forgetting）のような原理的な課題も抱えていました。
他方、われわれ人間の知能は、そういった現代の主流な機械学習モデルとは異なった性質を示します。特に複数の課題に対して同時に能力を洗練させられる点、および少数サンプルからでも抽象的かつ汎用的な知識を獲得できる点は、驚嘆に値します。現代の最先端の機械学習理論を持ってしても、これらの人間の優れた能力を（機械的に）実現することはできていません。では、従来のタスク特化型モデルの成功体験から脱し、より人間の知能に近い汎用的な機械学習モデルを構築するにはどうすれば良いのでしょうか？
Yoshua Bengio は、この特化型AIと汎用型AIの対比を「システム1 ・システム2」という言葉を使って表現しました。このシステム1 / システム2という用語は、行動経済学者ダニエル・カーネマンの「ファスト&スロー」という書籍から援用されています。大雑把にまとめると、システム1は人間の持つ反射的で早い思考（例：物体認識）を、システム2は論理的で遅い思考（例：目の前の状況から将来を予測する）を指します。これらの表現を使った Bengio の講演で強調されたのは、従来の機械学習モデルの多くは、システム1を効率的に実現するものであるが、システム2の実現には遠く及ばないだろうという主張でした。そして、その主たる原因は現代の機械学習アルゴリズムの多くが「i.i.d（独立同分布）の仮定」に依拠していることにあると指摘しました。次節で、この点についてもうすこし深く掘り下げます。
関連する文献やワークショップ
[1] "From System 1 Deep Learning to System 2 Deep Learning", Yoshua Bengio
[2] "Social Intelligence", Blaise Aguera y Arcas
[3] "One-Shot Object Detection with Co-Attention and Co-Excitation", Ting-I Hsieh et al.
特化型AIから汎用型AIへ向かおうとする流れ
i.i.d の仮定は、機械学習モデルの訓練・テストに用いるサンプル集合が、同一の確率分布から、相互に独立に得られたことを仮定するものです。多くの機械学習モデルは、この仮定を前提にすることで、訓練データを基に学習した（確率モデルとして表現されうる）パターンや規則性が、そのままテストデータへ適用できることを保証しています。画像の識別や物体認識など、ルールが明確かつ訓練データが潤沢に用意されている特定のケースでは、この仮定は妥当なものとなり、結果として強力な機械学習モデルを生み出してきました。しかし、ある特定の状況におけるパターンが、それと異なる状況でも適用可能とする仮定が、現実の問題の多くでうまく成立しないことが分かってきました。
Bengio はこの議論を、クルマの運転を例に挙げて説明しました。ここでは都会を運転する場合と、田舎の田んぼ道を運転する場合を考えます。この両ケースに i.i.d の仮定が成立するとした場合、（ごく単純に言うと）都会を運転しているときに見られたパターンが、田舎を運転する場合にも同じように起こりうると想定することになります。しかし、この仮定は必ずしも成立するとは言えません。ここで興味深いことは、一定の訓練を積んだ人間がこれら2つのケースの運転を、いとも簡単に実現してしまう点です。たとえ運転の訓練を都市部のみで行なっていたとしても、人間の場合は田舎道もうまく運転できると期待されます。それでは、一体なぜ人間はこのような動作をケース横断的に柔軟に適応させることができるのでしょうか？
その秘訣は、人間が「ケース横断的に適用可能な知識」と「ケース特異的にしか使えない知識」を暗に切り分けて考えているからだと複数の研究者は主張します。そして、この発想はそのままメタ・ラーニングの考え方へと繋がります。例えば、代表的なフレームワークのひとつであるMAML (Model-Agnostic Meta-Learning)は、通常の学習パラメーターに加えて、Meta-loss と Meta-prarameter を加えることによって、ケース特異的/横断的な知識の切り分けを実現しています。先ほどの運転の例を再び取り上げるならば、運転する場所に依存せずに使える知識を、運転する場所それぞれに合わせて適用するような考える方に近いかと思われます。ここで重要なことは、各運転場所から得られたサンプル集合それぞれに i.i.d の仮定を適用した上で、i.i.d の仮定によらない確率モデル（すなわち、ケース横断的知識）の学習も同時に行う点にあります。
現実世界では、前提とする環境自体が変化してしまうような事態がしばしば発生します。まったく同じ作業を異なる環境や時間帯で実施した場合に、得られるデータの分布が異なることもありえます。人間はこのような状況や文脈依存の確率分布の変化にも柔軟に対応可能です。一方で、i.i.d の仮定を前提とする特化型の機械学習モデルは、ごく限定的な柔軟性しか持ちえません。2019年のNeurIPSで強調されたこれらの議論は、i.i.dの仮定を前提としない学習モデルの研究を一層加速させると推定されます。特にメタ・ラーニングや強化学習の分野は、今後さらにその重要度を増してくると予想されます。
関連する文献やワークショップ
[4] "Biological and Artificial Reinforcement Learning", Workshop by Raymond Chua et al.
[5] "Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks", Chelsea Finn et al.
[6] "Weight Agnostic Neural Networks", Adam Gaier, David Ha
汎用型AIの実現に向けた神経科学の援用と生物学的妥当性
2019年のNeurIPS全体を通して、情報科学と生物学の研究者が渾然一体となって議論していた姿が印象的でした。システム2の思考を実現しうるような機械学習モデルの開発において、アイデアの拠り所となりうるような知見は限られています。機械学習分野の研究者たちが、人間の心理や脳のアーキテクチャに関する知見を、発想の出発点として積極的に求める理由1 はここにあると考えられます。Tom Mitchell のワークショップ講演でも指摘されていたように、神経科学の研究者たちから見ても、機械学習モデルが人間の脳の仕組みを解明する一助になることが期待されるため、両者の境目はますます曖昧になってくると思われます。
機械学習モデルの Biological / Neural plausibility（生物学的・神経科学的妥当性）は、会議全体の中で特に頻繁に見受けられたコンセプトのひとつです。例えば、カーネギーメロン大学の Dan Schwartz らは、自然言語理解のために開発された機械学習モデルが、人間が自然言語の文章を聴いているときの脳活動をどのくらい予測できるかを調べています。彼らの研究のように機械学習モデル上の表現空間と、人間の脳活動の表現空間を直接比べようとする研究は少なくありません。脳と機械モデルの間をとりもつような研究がNeurIPSの本会議に複数件採録されているという結果だけを見ても、この領域への注目度の高さが窺い知れます。Yoshua Bengio や Tom Mitchell のような著名な研究者たちが、人工知能研究と神経科学研究の接点を非常に重要視していることも、この状況を後押ししていくと考えられます。
最後にこの記事は、「私個人の視点」からNeurIPS2019を見たときに、特に強く印象に残った内容を中心にしていることを断っておきます。ここに記した内容以外にも、機械学習モデルにおけるプライバシーの問題や、その解決策としての Federated learning の話題なども興味深いものでした。NeurIPS自体が10,000名を超える参加者を擁する世界最大級の会議なので、おそらく各個人の興味・関心に沿う内容が発表されていると思います。そういった意味で、多くのスライド、ポスター、講演動画が公開されているNeurIPS2019公式サイトも、是非チェックいただけると幸いです。
[7] "Context and Compositionality in Biological and Artificial Neural Systems", Workshop by Javier Turek et al.
[8] "Inducing brain-relevant bias in natural language processing models", Dan Schwartz et al.
[9] "Surround Modulation: A Bio-inspired Connectivity Structure for Convolutional Neural Networks", Hosein Hasani et al.
-
拙著ですが、私もこの観点について日本語で解説論文を書いています。（"人の知性を司る脳，その模倣としての機械学習", 久保孝富, 幾谷吉晴, 『システム／制御／情報』） ↩