6 Concluding Remarks

訳文

我々は, リスクを完全に制御し, 高い信頼性が保証された選択的分類器を学習するためのアルゴリズムを発表した. 我々の実証研究では, このアルゴリズムを困難な画像分類データセット上で検証し, 保証されたリスク制御が達成可能であることを示した. 我々の手法は, ディープラーニングの実務家がすぐに利用でき, ミッションクリティカルなタスクへの対応を支援することができる.
我々の研究は, この方向への重要な第一歩に過ぎず, 多くの研究課題が残されていると考えている. 我々のアプローチの出発点は, 訓練されたニューラル分類器 $f$ (フルカバレッジ下でリスクを最適化するように訓練されていると思われる) である. 我々が検討した棄却メカニズムは非常に効果的だが, 与えられた分類器 $f$ に対して優れたメカニズムを特定することは可能かもしれない. しかし, 我々は, 与えられたリスクレベルに対してカバレッジを最適化するために, 分類器 $f$ と選択関数 $G$ の両方を同時に訓練することが最も困難な未解決の問題であると考えている. 選択的分類は, 線形分類器の文脈では能動学習と密接に関連している [6, 11]. この潜在的な関係を (深層) ニューラル分類の文脈で探ることは非常に興味深いことである. この論文では, $0/1$ 損失の下での選択的分類のみを研究した. 我々の手法を他の損失関数, 特に回帰にまで拡張し, 偽陽性率と偽陰性率を完全に制御することが非常に重要になる.
この作業は多くの応用がある. 一般的に, 制御されたリスクが重要な分類タスクであれば, 我々の手法を使用することで利益を得ることができる. 明白な例としては, 最高の精度が要求され, 棄却は人間の専門家によって処理されなければならない医療アプリケーションがある. このようなアプリケーションでは, 我々がここで提案するような性能保証の存在が不可欠である. 金融投資のアプリケーションもまた, 非常に多くの機会があり, その中から最も確実なものを選択する必要があることは明らかである. より未来的なアプリケーションは, ロボットの営業担当者のそれであり, ボットが完全に理解していない質問に答えようとすると, 非常に有害な可能性がある.

原文

We presented an algorithm for learning a selective classifier whose risk can be fully controlled and guaranteed with high confidence. Our empirical study validated this algorithm on challenging image classification datasets, and showed that guaranteed risk-control is achievable. Our methods can be immediately used by deep learning practitioners, helping them in coping with missioncritical tasks.
We believe that our work is only the first significant step in this direction, and many research questions are left open. The starting point in our approach is a trained neural classifier $f$ (supposedly trained to optimize risk under full coverage). While the rejection mechanisms we considered were extremely effective, it might be possible to identify superior mechanisms for a given classifier $f$. We believe, however, that the most challenging open question would be to simultaneously train both the classifier $f$ and the selection function $g$ to optimize coverage for a given risk level. Selective classification is intimately related to active learning in the context of linear classifiers [6, 11]. It would be very interesting to explore this potential relationship in the context of (deep) neural classification. In this paper we only studied selective classification under the $0/1$ loss. It would be of great importance to extend our techniques to other loss functions and specifically to regression, and to fully control false-positive and false-negative rates.
This work has many applications. In general, any classification task where a controlled risk is critical would benefit by using our methods. An obvious example is that of medical applications where utmost precision is required and rejections should be handled by human experts. In such applications the existence of performance guarantees, as we propose here, is essential. Financial investment applications are also obvious, where there are great many opportunities from which one should cherry-pick the most certain ones. A more futuristic application is that of robotic sales representatives, where it could extremely harmful if the bot would try to answer questions it does not fully understand.