Abstract

訳文

データの特定のレベルのカバレッジで最高のパフォーマンスを達成したい選択的分類問題 (拒否オプション付きの教師あり学習問題) を扱います. 元の $m$ クラス分類問題を $(m + 1)$ クラスに変換します。ここで, $(m + 1)$ 番目のクラスは, 不確実性による予測を行わないモデルを表します. ポートフォリオ理論から着想を得て, ギャンブルの倍増率に基づいた選択的分類問題の損失関数を提案します. この損失関数を最小化することは, 競馬のリターンを最大化することに自然に対応します. プレーヤーは, 自信がある場合の結果への賭け (予測を行う) と自信がない場合の賞金の保留 (予測を控える) のバランスを取ることを目指しています. この損失関数により, ニューラルネットワークをトレーニングし, エンドツーエンドの方法で予測の不確実性を特徴付けることができます. 以前の方法と比較して, この方法では, モデル推論アルゴリズムまたはモデルアーキテクチャをほとんど変更する必要はありません. 実験は, 我々の方法がデータポイントの不確実性を識別でき, SVHN と CIFAR10 上のデータのさまざまなカバレッジで強力な結果を達成できることを示しています.

原文

We deal with the selective classification problem (supervised-learning problem with a rejection option), where we want to achieve the best performance at a certain level of coverage of the data. We transform the original $m$-class classification problem to $(m + 1)$-class where the $(m + 1)$-th class represents the model abstaining from making a prediction due to disconfidence. Inspired by portfolio theory, we propose a loss function for the selective classification problem based on the doubling rate of gambling. Minimizing this loss function corresponds naturally to maximizing the return of a horse race, where a player aims to balance between betting on an outcome (making a prediction) when confident and reserving one’s winnings (abstaining) when not confident. This loss function allows us to train neural networks and characterize the disconfidence of prediction in an end-to-end fashion. In comparison with previous methods, our method requires almost no modification to the model inference algorithm or model architecture. Experiments show that our method can identify uncertainty in data points, and achieves strong results on SVHN and CIFAR10 at various coverages of the data.