【論文メモ】Underspecification Presents Challenges for Credibility in Modern Machine Learning

概要

機械学習モデルが現実問題において精度が低下する理由は、Underspecification（仕様不足）が原因である。テストデータセットにおいて同一精度を出すモデルのパラメータが多数あるので特定できないことを仕様不足と言っている。同じ訓練プロセスを使っても実際の利用では質の低いモデルが生み出されてしまう可能性もある。
論文で紹介する複数の分野で同様の問題が発生する。
上記の問題が起きないように実際の利用を想定したストレステストの設計、正則化をすることが重要である。

元論文のURL