機械学習を勉強している際に、残差と誤差の違いがよくわからなくなったので自分なりの解釈をまとめておきます。

残差と誤差は別のもの

自分は残差と誤差は別のものを指していると解釈しています。
自分なりの解釈は、
残差の定義は、
(残差) = (観測した値) - (予測した値)
誤差の定義は、
(誤差) = (観測した値) - (真の値)

であり、予測した値と真の値は異なるので、残差と誤差は異なると思います。

だから、機械学習でよく出てくる
$$ y^{(i)} - yhat^{(i)} $$
においては$yhat^{(i)}$は予測した値を指しているので、残差であると思います。(yの真上に^ってどうやって書く？）
これを誤差と表現されている場合が多くあったので、自分のなかで納得がいかず、ここに書いています。

例えば、平均二乗誤差の定義式など。

よく似ているのですが、使い分けた方がいいのではないかと思いメモってみました。

正直あまり自信がないので、自分なりに理解が深まったら書き足すかと思います。
詳しい人がいらっしゃりましたら、訂正してほしいです。