Abstract

訳文

ディープラーニングのツールは, 機械学習の応用において多大な注目を集めています. ただし, 回帰および分類のためのこのようなツールは, モデルの不確実性を捉えられていません. これに対して, ベイジアンモデルはモデルの不確実性を推論するための数学的に根拠のあるフレームワークを提供しますが, 通常, 計算コストが非常に高くなります. この論文では, ディープガウス過程における近似ベイズ推定として, ディープニューラルネットワーク (NNs) でドロップアウトトレーニングをキャスト (鋳造) する新しい理論的フレームワークを開発します. この理論の直接の結果は, ドロップアウト NNs – これまでに捨てられた既存のモデルから情報を抽出する, で不確実性をモデル化するツールの提供です. これにより, 計算の複雑さやテストの精度を犠牲にすることなく, ディープラーニングの不確実性を表す問題が緩和されます. ドロップアウトの不確実性の特性に関する広範な研究を実施しています. さまざまなネットワークアーキテクチャと非線形性が, MNIST を例として使用して, 回帰と分類のタスクで評価されます. 既存の最先端の方法と比較して, 予測対数尤度と RMSE の大幅な改善を示し, 深層強化学習におけるドロップアウトの不確実性を使用して終了します.

原文

Deep learning tools have gained tremendous attention in applied machine learning. However such tools for regression and classification do not capture model uncertainty. In comparison, Bayesian models offer a mathematically grounded framework to reason about model uncertainty, but usually come with a prohibitive computational cost. In this paper we develop a new theoretical framework casting dropout training in deep neural networks (NNs) as approximate Bayesian inference in deep Gaussian processes. A direct result of this theory gives us tools to model uncertainty with dropout NNs – extracting information from existing models that has been thrown away so far. This mitigates the problem of representing uncertainty in deep learning without sacrificing either computational complexity or test accuracy. We perform an extensive study of the properties of dropout's uncertainty. Various network architectures and non-linearities are assessed on tasks of regression and classification, using MNIST as an example. We show a considerable improvement in predictive log-likelihood and RMSE compared to existing state-of-the-art methods, and finish by using dropout's uncertainty in deep reinforcement learning.