概要
Yoshua Bengioさんの『 From System 1 Deep Learning to System 2 Deep Learning (NeurIPS 2019)』をみる
以下のYoutube。
https://www.youtube.com/watch?v=T3sxeTgT4qc
この講演の概要
https://nips.cc/Conferences/2019/Schedule?showEvent=15488 から引用
Past progress in deep learning has concentrated mostly on learning from a static dataset, mostly for perception tasks and other System 1 tasks which are done intuitively and unconsciously by humans. However, in recent years, a shift in research direction and new tools such as soft-attention and progress in deep reinforcement learning are opening the door to the development of novel deep architectures and training frameworks for addressing System 2 tasks (which are done consciously), such as reasoning, planning, capturing causality and obtaining systematic generalization in natural language processing and other applications. Such an expansion of deep learning from System 1 tasks to System 2 tasks is important to achieve the old deep learning goal of discovering high-level abstract representations because we argue that System 2 requirements will put pressure on representation learning to discover the kind of high-level concepts which humans manipulate with language. We argue that towards this objective, soft attention mechanisms constitute a key ingredient to focus computation on a few concepts at a time (a "conscious thought") as per the consciousness prior and its associated assumption that many high-level dependencies can be approximately captured by a sparse factor graph. We also argue how the agent perspective in deep learning can help put more constraints on the learned representations to capture affordances, causal variables, and model transitions in the environment. Finally, we propose that meta-learning, the modularization aspect of the consciousness prior and the agent perspective on representation learning should facilitate re-use of learned components in novel ways (even if statistically improbable, as in counterfactuals), enabling more powerful forms of compositional generalization, i.e., out-of-distribution generalization based on the hypothesis of localized (in time, space, and concept space) changes in the environment due to interventions of agents.
DeepL翻訳ママ（やや不調）
ディープラーニングの過去の進歩は、主に静的データセットからの学習に集中しており、主に知覚タスクや、人間が直感的かつ無意識に行うその他のシステム1タスクを対象としています。しかし、近年、研究の方向性の変化と、ソフトアテンションや深層強化学習の進歩などの新しいツールが、システム2のタスク（意識的に行われる）に対処するための新しい深層アーキテクチャとトレーニングフレームワークの開発への扉を開いています。 、推論、計画、因果関係の把握、自然言語処理やその他のアプリケーションでの体系的な一般化の取得など。システム1のタスクからシステム2のタスクへの深層学習のこのような拡張は、高レベルの抽象的な表現を発見するという古い深層学習の目標を達成するために重要です。人間が言語で操作するレベルの概念。この目的に向けて、ソフトアテンションメカニズムは、以前の意識とそれに関連する多くの高レベルの依存関係をほぼキャプチャできるという仮定に従って、一度にいくつかの概念（「意識的思考」）に計算を集中させるための重要な要素を構成すると主張しますスパースファクターグラフによる。また、深層学習におけるエージェントの視点が、環境内のアフォーダンス、因果変数、およびモデル遷移をキャプチャするために、学習された表現により多くの制約を課すのにどのように役立つかについても議論します。最後に、メタ学習、事前意識のモジュール化の側面、および表現学習に関するエージェントの視点は、学習したコンポーネントの再利用を新しい方法で促進し（反事実条件節のように統計的にありそうもない場合でも）、より強力な形式を可能にすることを提案します。構成的一般化、すなわち、エージェントの介入による環境の局所的（時間、空間、および概念空間）変化の仮説に基づく分布外一般化。
理解できた内容
Nature does not shuffle the data, ...
面白いな。。。個人的には、このあたりの議論をあまり知りませんでした！！
引用されている講演は、↓
つづきは
（後報）
まとめ
特にありません。