この記事は自分用のメモみたいなものです.
ほぼ DeepL 翻訳でお送りします.
間違いがあれば指摘していだだけると嬉しいです.
翻訳元
Deep Evidential Regression
Author: Alexander Amini, Wilko Schwarting, Ava Soleimany, Daniela Rus
前: 【4 Experiments】
次: 【6 Conclusions, limitations, and scope】
5 Related work
訳文
我々の研究は, 不確かさ推定の多くの歴史 [25, 38, 37, 19] と NN を用いた確率分布のモデリング [36, 4, 14, 26] に基づいている.
Prior networks and evidential models. ベイズ推定では, 不確実性を推定するために階層モデルに事前分布を配置することに大きな注目が集まっている [12, 13]. 我々の方法論は, 離散的な分類予測にディリクレの事前分布を配置する証拠的深層学習 [42] や事前ネットワーク [32, 33] と密接に関連している. しかし, これらの研究は, 固定された, よく定義された事前分布への発散を正則化することに依存しており [42, 46], OOD 訓練データが必要である [32, 31, 7, 19], または密度推定を実行することでしか aleatoric uncertainty を推定できない [11, 18] のいずれかである. 我々の研究では, この発散正則化器が十分に定義されていない連続回帰学習タスクに焦点を当てて, これらの制限に取り組む, OOD トレーニングデータを必要とせずに, aleatoric uncertainty と epistemic uncertainty の両方を推定することができる.
Bayesian deep learning. ベイズ型深層学習では, 変分推論 [26] を使用して推定されるネットワーク重みの上に事前分布が置かれる. ドロップアウト [9, 34, 10, 2], アンサンブル [28, 40], または他のアプローチ [5, 20] による近似は, 予測分散を推定するために高価なサンプルに依存している. 対照的に, 我々は決定論的 NN を訓練して予測分布上に不確実性の事前分布を配置し, 不確実性を推定するために 1 回のフォワードパスだけを必要とする. さらに, 我々の不確実性推定のアプローチは十分に較正されており, OOD と敵対的データを検出することができることが証明された.
原文
Our work builds on a large history of uncertainty estimation [25, 38, 37, 19] and modelling probability distributions using NNs [36, 4, 14, 26].
Prior networks and evidential models. A large focus within Bayesian inference is on placing prior distributions over hierarchical models to estimate uncertainty [12, 13]. Our methodology closely relates to evidential deep learning [42] and Prior Networks [32, 33] which place Dirichlet priors over discrete classification predictions. However, these works either rely on regularizing divergence to a fixed, well-defined prior [42, 46], require OOD training data [32, 31, 7, 19], or can only estimate aleatoric uncertainty by performing density estimation [11, 18]. Our work tackles these limitations with focus on continuous regression learning tasks where this divergence regularizer is not well-defined, without requiring any OOD training data to estimate both aleatoric and epistemic uncertainty.
Bayesian deep learning. In Bayesian deep learning, priors are placed over network weights that are estimated using variational inference [26]. Approximations via dropout [9, 34, 10, 2], ensembling [28, 40] or other approaches [5, 20] rely on expensive samples to estimate predictive variance. In contrast, we train a deterministic NN to place uncertainty priors over the predictive distribution, requiring only a single forward pass to estimate uncertainty. Additionally, our approach of uncertainty estimation proved to be well calibrated and was capable of detecting OOD and adversarial data.