この記事は自分用のメモみたいなものです.
ほぼ DeepL 翻訳でお送りします.
間違いがあれば指摘していだだけると嬉しいです.
翻訳元
The Consciousness Prior
Author: Yoshua Bengio
前: 無し
次: 【1 Introduction】
Abstract
訳文
我々が言語を使って操作するような高レベルの概念の表現を学習するための新しいプライヤー (prior) が提案されている。このプライヤーは, 抽象的な要素を互いに分離するのを助けるために, 他のプライヤーと組み合わせることができる. これは, 意識の認知神経科学の理論に触発されたもので, より広いプールからアテンションによって選択された後, わずか数個の要素が, その後, ブロードキャストされ, 知覚と意思決定の両方で, さらなる処理を条件とするボトルネックとして見られている. 最近選択された要素のセットは, 低次元の意識状態を形成していると見られる. この意識状態は, 意識的思考を構成するいくつかの概念, つまり特定の瞬間にすぐに意識しているものを組み合わせたものである. このアーキテクチャ上の制約と情報処理上の制約は, 高レベルの概念間の同時分布に関する仮定に対応していると我々は主張する. これらの仮定が一般的に真実である限り (自然言語の形式がそれと一致していると思われる限り), 表現学習のための有用なプライヤーを形成することができる. 低次元の思考や意識状態は, 文に似ている: それは少数の変数しか含まないが, 真である確率が非常に高い文を作ることができる. これは, 疎な因子グラフの形をした (高次概念上の) 同時分布, すなわち, 因子グラフの各因子によって捕捉された依存関係が, 全体的なエネルギー関数に強いディップを生じさせながら, 非常に少数の変数しか関与しない場合と一致している. 意識プライヤーはまた, 意識状態を自然言語の発話にマッピングすることや, アテンションメカニズムによって実装された効率的な検索メカニズムと同様に不確実性を取り込んでいるにもかかわらず, 事実やルールに類似した形式で古典的な AI 知識を表現することを自然に可能にする.
原文
A new prior is proposed for learning representations of high-level concepts of the kind we manipulate with language. This prior can be combined with other priors in order to help disentangling abstract factors from each other. It is inspired by cognitive neuroscience theories of consciousness, seen as a bottleneck through which just a few elements, after having been selected by attention from a broader pool, are then broadcast and condition further processing, both in perception and decision-making. The set of recently selected elements one becomes aware of is seen as forming a low-dimensional conscious state. This conscious state is combining the few concepts constituting a conscious thought, i.e., what one is immediately conscious of at a particular moment. We claim that this architectural and information-processing constraint corresponds to assumptions about the joint distribution between high-level concepts. To the extent that these assumptions are generally true (and the form of natural language seems consistent with them), they can form a useful prior for representation learning. A low-dimensional thought or conscious state is analogous to a sentence: it involves only a few variables and yet can make a statement with very high probability of being true. This is consistent with a joint distribution (over high-level concepts) which has the form of a sparse factor graph, i.e., where the dependencies captured by each factor of the factor graph involve only very few variables while creating a strong dip in the overall energy function. Instead of making predictions in the sensory (e.g. pixel) space, one can thus make predictions in this high-level abstract space, which do not have to be limited to just the next time step but can relate events far away from each other in time. The consciousness prior also makes it natural to map conscious states to natural language utterances or to express classical AI knowledge in a form similar to facts and rules, albeit capturing uncertainty as well as efficient search mechanisms implemented by attention mechanisms.