はじめに
回帰タスクに使える評価指標を紹介しつつ、それぞれの特徴や、メリット・デメリットについてお話しします。
AIC（Akaike Information Criterion、赤池情報量基準）
数式
\text{AIC} = 2k - 2\ln(L) \
- (k)：モデルのパラメータ数
- (L)：対数尤度（Log-likelihood）
概要
モデルの適合度と複雑さをバランスさせる指標で、対数尤度にペナルティ項を加えることで、モデルの過剰適合（オーバーフィッティング）を防ぐ。
メリット
- モデルの過剰適合を避けるために有効。
- 複数のモデルを比較する際に簡単に使用できる。
デメリット
- モデルの絶対的な適合度を示さない。
- データの標本サイズに敏感。
利用場面
- 複数の回帰モデル間の比較。
- モデル選択の際に、パラメータ数と適合度のバランスを考慮する必要がある場合。
BIC（Bayesian Information Criterion、ベイズ情報量基準）
数式
\text{BIC} = \ln(n)k - 2\ln(L) \
- (n)：サンプルサイズ
- (k)：モデルのパラメータ数
- (L)：対数尤度（Log-likelihood）
概要
AICと同様にモデルの適合度と複雑さをバランスさせる指標だが、BICはサンプルサイズを考慮してペナルティをより強くかける。
メリット
- 大規模なデータセットに対して有効。
- 過剰適合を防ぐのに役立つ。
デメリット
- 小さなデータセットに対しては過剰なペナルティをかけることがある。
- AICと同様に、モデルの絶対的な適合度を示さない。
利用場面
- サンプルサイズが大きい場合のモデル比較。
- モデルの選択において、過剰適合をさらに避ける必要がある場合。
MSE（Mean Squared Error、平均二乗誤差）
数式
\text{MSE} = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 \
- (n)：サンプル数
- (y_i)：実際の値
- (\hat{y}_i)：予測値
概要
実際の値と予測値の差の二乗の平均で、予測の誤差の大きさを示す。
メリット
- 誤差の大きさを強調するため、大きな誤差に敏感。
- 計算が簡単で、広く使われている。
デメリット
- 外れ値に敏感である。
- 誤差の単位が元のデータの単位の二乗になる。
利用場面
- モデルの精度を評価する際に一般的に使用される。
- 大きな誤差を特に重視する場合。
RMSE（Root Mean Squared Error、平方根平均二乗誤差）
数式
\text{RMSE} = \sqrt{\frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2} \
- (n)：サンプル数
- (y_i)：実際の値
- (\hat{y}_i)：予測値
概要
MSEの平方根を取ったもので、誤差の大きさを元のデータの単位で示す。
メリット
- 誤差の単位が元のデータの単位に一致するため、解釈しやすい。
- 大きな誤差に敏感。
デメリット
- 外れ値に敏感である。
利用場面
- モデルの予測精度を評価する際に使用される。
- 大きな誤差を特に重視する場合。
MAE（Mean Absolute Error、平均絶対誤差）
数式
\text{MAE} = \frac{1}{n} \sum_{i=1}^n |y_i - \hat{y}_i| \
- (n)：サンプル数
- (y_i)：実際の値
- (\hat{y}_i)：予測値
概要
実際の値と予測値の差の絶対値の平均で、誤差の大きさを示す。
メリット
- 外れ値に対して頑健である。
- 誤差の単位が元のデータの単位に一致する。
デメリット
- 大きな誤差と小さな誤差を同等に扱う。
利用場面
- モデルの予測精度を評価する際に使用される。
- 外れ値の影響を抑えたい場合。
MAPE（Mean Absolute Percentage Error、平均絶対百分率誤差）
数式
\text{MAPE} = \frac{100}{n} \sum_{i=1}^n \left| \frac{y_i - \hat{y}_i}{y_i} \right| \
- (n)：サンプル数
- (y_i)：実際の値
- (\hat{y}_i)：予測値
概要
実際の値と予測値の差の絶対値を実際の値で割った割合の平均で、予測誤差を百分率で示す。
メリット
- 誤差を相対的に評価できる。
- 異なるスケールのデータを比較するのに適している。
デメリット
- 実際の値が0に近い場合、誤差が極端に大きくなる。
- ゼロ値を含むデータには適さない。
利用場面
- 異なるスケールのデータセット間で予測精度を比較する場合。
- 相対的な誤差を重視する場合。
決定係数（R-squared）
数式
R^2 = 1 - \frac{\sum_{i=1}^n (y_i - \hat{y}_i)^2}{\sum_{i=1}^n (y_i - \bar{y})^2} \
- (y_i)：実際の値
- (\hat{y}_i)：予測値
- (\bar{y})：実際の値の平均
概要
モデルがデータの分散をどれだけ説明できるかを示す指標で、1に近いほど良いモデルである。
メリット
- モデルの説明力を直感的に理解できる。
- 0から1の範囲で解釈しやすい。
デメリット
- モデルの複雑さを考慮しないため、過剰適合のリスクがある。
- 非線形モデルには適さない場合がある。
利用場面
- 回帰モデルの説明力を評価する際に一般的に使用される。
- モデルの適合度を簡単に比較する場合。
調整済み決定係数
数式
\bar{R}^2 = 1 - \left(1 - R^2\right) \frac{n - 1}{n - p - 1} \
- (R^2)：決定係数
- (n)：サンプル数
- (p)：説明変数の数
概要
モデルの複雑さを考慮した決定係数で、説明変数の数に対して調整を行う。
メリット
- モデルの複雑さを考慮するため、過剰適合を防ぐのに役立つ。
- モデルの比較が公平に行える。
デメリット
- 複雑なモデルが必ずしも優れた結果をもたらすとは限らない。
- 非線形モデルには適さない場合がある。
利用場面
- 複数の回帰モデルを比較する際に、モデルの複雑さを考慮する必要がある場合。
- 説明変数の数が異なるモデル間での比較。
おわりに
今回は、回帰タスクに使える評価指標について紹介しました。どの評価指標を使うべきか迷った時などに、参考にしていただければ幸いです。