はじめに

回帰タスクに使える評価指標を紹介しつつ、それぞれの特徴や、メリット・デメリットについてお話しします。

AIC（Akaike Information Criterion、赤池情報量基準）

数式

\text{AIC} = 2k - 2\ln(L) \

(k)：モデルのパラメータ数
(L)：対数尤度（Log-likelihood）

概要

モデルの適合度と複雑さをバランスさせる指標で、対数尤度にペナルティ項を加えることで、モデルの過剰適合（オーバーフィッティング）を防ぐ。

メリット

モデルの過剰適合を避けるために有効。
複数のモデルを比較する際に簡単に使用できる。

デメリット

モデルの絶対的な適合度を示さない。
データの標本サイズに敏感。

利用場面

複数の回帰モデル間の比較。
モデル選択の際に、パラメータ数と適合度のバランスを考慮する必要がある場合。

BIC（Bayesian Information Criterion、ベイズ情報量基準）

数式

\text{BIC} = \ln(n)k - 2\ln(L) \

(n)：サンプルサイズ
(k)：モデルのパラメータ数
(L)：対数尤度（Log-likelihood）

概要

AICと同様にモデルの適合度と複雑さをバランスさせる指標だが、BICはサンプルサイズを考慮してペナルティをより強くかける。

メリット

大規模なデータセットに対して有効。
過剰適合を防ぐのに役立つ。

デメリット

小さなデータセットに対しては過剰なペナルティをかけることがある。
AICと同様に、モデルの絶対的な適合度を示さない。

利用場面

サンプルサイズが大きい場合のモデル比較。
モデルの選択において、過剰適合をさらに避ける必要がある場合。

MSE（Mean Squared Error、平均二乗誤差）

数式

\text{MSE} = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 \

(n)：サンプル数
(y_i)：実際の値
(\hat{y}_i)：予測値

概要

実際の値と予測値の差の二乗の平均で、予測の誤差の大きさを示す。

メリット

誤差の大きさを強調するため、大きな誤差に敏感。
計算が簡単で、広く使われている。

デメリット

外れ値に敏感である。
誤差の単位が元のデータの単位の二乗になる。

利用場面

モデルの精度を評価する際に一般的に使用される。
大きな誤差を特に重視する場合。

RMSE（Root Mean Squared Error、平方根平均二乗誤差）

数式

\text{RMSE} = \sqrt{\frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2} \

(n)：サンプル数
(y_i)：実際の値
(\hat{y}_i)：予測値

概要

MSEの平方根を取ったもので、誤差の大きさを元のデータの単位で示す。

メリット

誤差の単位が元のデータの単位に一致するため、解釈しやすい。
大きな誤差に敏感。

デメリット

外れ値に敏感である。

利用場面

モデルの予測精度を評価する際に使用される。
大きな誤差を特に重視する場合。

MAE（Mean Absolute Error、平均絶対誤差）

数式

\text{MAE} = \frac{1}{n} \sum_{i=1}^n |y_i - \hat{y}_i| \

(n)：サンプル数
(y_i)：実際の値
(\hat{y}_i)：予測値

概要

実際の値と予測値の差の絶対値の平均で、誤差の大きさを示す。

メリット

外れ値に対して頑健である。
誤差の単位が元のデータの単位に一致する。

デメリット

大きな誤差と小さな誤差を同等に扱う。

利用場面

モデルの予測精度を評価する際に使用される。
外れ値の影響を抑えたい場合。

MAPE（Mean Absolute Percentage Error、平均絶対百分率誤差）

数式

\text{MAPE} = \frac{100}{n} \sum_{i=1}^n \left| \frac{y_i - \hat{y}_i}{y_i} \right| \

(n)：サンプル数
(y_i)：実際の値
(\hat{y}_i)：予測値

概要

実際の値と予測値の差の絶対値を実際の値で割った割合の平均で、予測誤差を百分率で示す。

メリット

誤差を相対的に評価できる。
異なるスケールのデータを比較するのに適している。

デメリット

実際の値が0に近い場合、誤差が極端に大きくなる。
ゼロ値を含むデータには適さない。

利用場面

異なるスケールのデータセット間で予測精度を比較する場合。
相対的な誤差を重視する場合。

決定係数（R-squared）

数式

R^2 = 1 - \frac{\sum_{i=1}^n (y_i - \hat{y}_i)^2}{\sum_{i=1}^n (y_i - \bar{y})^2} \

(y_i)：実際の値
(\hat{y}_i)：予測値
(\bar{y})：実際の値の平均

概要

モデルがデータの分散をどれだけ説明できるかを示す指標で、1に近いほど良いモデルである。

メリット

モデルの説明力を直感的に理解できる。
0から1の範囲で解釈しやすい。

デメリット

モデルの複雑さを考慮しないため、過剰適合のリスクがある。
非線形モデルには適さない場合がある。

利用場面

回帰モデルの説明力を評価する際に一般的に使用される。
モデルの適合度を簡単に比較する場合。

調整済み決定係数

数式

\bar{R}^2 = 1 - \left(1 - R^2\right) \frac{n - 1}{n - p - 1} \

(R^2)：決定係数
(n)：サンプル数
(p)：説明変数の数

概要

モデルの複雑さを考慮した決定係数で、説明変数の数に対して調整を行う。

メリット

モデルの複雑さを考慮するため、過剰適合を防ぐのに役立つ。
モデルの比較が公平に行える。

デメリット

複雑なモデルが必ずしも優れた結果をもたらすとは限らない。
非線形モデルには適さない場合がある。

利用場面

複数の回帰モデルを比較する際に、モデルの複雑さを考慮する必要がある場合。
説明変数の数が異なるモデル間での比較。

おわりに

今回は、回帰タスクに使える評価指標について紹介しました。どの評価指標を使うべきか迷った時などに、参考にしていただければ幸いです。