Label Smoothing

Label Smoothing とは

深層学習において過学習防ぐ手法. その名前の通り、極端なクラスの割り当てをソフトなものに変換して過学習を抑えようという手法.

本来の正解データ$y$に、各クラス$k$に対して何らかの値を持つ関数$u(k)$を加える.
$y_{ls}=y(1-w)+wu(k)$
$w$ : 重み
この$y_{ls}$を正解データとして学習させる.

$u(k)$ に $\frac{1}{k}$ が使われることが多い.