概要
ディープラーイングによる物体検出等で、0.99とかの率が良く出る。ただ、それで、平気で誤検出だったりする。そこには、違和感あり。
また、softmaxの通常の処理も合理的かもしれないが、違和感あり。
あたらずとも遠からずの正しい率が知りたいですよね。
それの解決につながるか不明であるが、入り口として、以下の論文に注目した。
https://arxiv.org/pdf/1706.04599.pdf
『On Calibration of Modern Neural Networks』
（Chuan Guo Geoff Pleiss Yu Sun Kilian Q. Weinberger)
arXiv:1706.04599v2 [cs.LG] 3 Aug 2017
内容紹介
以下、Google翻訳をべたべたはる。
概要：
信頼度キャリブレーション（真の正確性の可能性を表す確率推定値を予測する問題）は、多くのアプリケーションの分類モデルにとって重要です。 10年前のニューラルネットワークとは異なり、最新のニューラルネットワークはキャリブレーションが不十分であることがわかります。 広範な実験を通じて、深度、幅、重量減衰、およびバッチ正規化がキャリブレーションに影響する重要な要素であることがわかります。 画像とドキュメントの分類データセットを使用して、最先端のアーキテクチャでさまざまな後処理校正方法のパフォーマンスを評価します。 私たちの分析と実験は、ニューラルネットワーク学習への洞察を提供するだけでなく、実用的な設定のためのシンプルで簡単なレシピも提供します。ほとんどのデータセットでは、温度スケーリング（プラットスケーリングの単一パラメーターバリアント）が予測のキャリブレーションに驚くほど効果的です。
温度スケーリング：
Plattスケーリングの最も単純な拡張である温度スケーリングは、すべてのクラスに対して単一のスカラーパラメーターT> 0を使用します。ロジットベクトルziを指定すると、新しい信頼度予測は次のようになります。
Tは温度と呼ばれ、T> 1でsoftmaxを「柔らかく」します（つまり、出力エントロピーを上げます）。T→∞の場合、確率qˆiは1 / Kに近づき、これは最大の不確実性を表します。 T = 1の場合、元の確率pˆiを回復します。 T→0になると、確率は点質量に崩壊します（つまり、qˆi = 1）。 Tは、検証セットのNLLに関して最適化されています。パラメーターTはsoftmax関数の最大値を変更しないため、クラス予測は、変更されません。つまり、温度スケーリングはモデルの精度に影響を与えません。温度スケーリングは、知識蒸留（Hinton et al。、2015）や統計力学（Jaynes、1957）などの設定で一般的に使用されます。私たちの知る限り、確率モデルのキャリブレーションのコンテキストでこれまでに使用されたことはありません。3このモデルは、ロジットの特定の制約のもとで出力確率分布のエントロピーを最大化することと同等です。
結論：
現代のニューラルネットワークは奇妙な現象を示します。確率的エラーと誤校正は、分類エラーが減少しても悪化します。 ニューラルネットワークアーキテクチャとトレーニングにおける最近の進歩（モデルの容量、正規化、正則化）がネットワークキャリブレーションに大きな影響を与えることを実証しました。 これらのトレンドがキャリブレーションに影響を与えながら精度を向上させる理由を理解することは、今後の課題です。 それにもかかわらず、シンプルな手法は、ニューラルネットワークのミスキャリブレーション現象を効果的に改善できます。 温度スケーリングは、最も単純で、最も速く、最も単純な方法であり、驚くべきことに、多くの場合、最も効果的です。
今後
上記、Google翻訳のみなので、もう少し、中味を。
関連する内容をあまり見かけていないので、この取り組みは、あまり有効でないのかもしれません。
コメントなどあれば、お願いします。