1. はじめに
今回は線形回帰モデルの評価について、作成したモデルがどの程度予測を当てられるのか、その性能を正しく理解し、改善に繋げるための重要な指標と注意点をまとめていきます。
2. 線形モデルの評価について
線形回帰モデルを構築する目的は、入力変数（説明変数）と出力変数（目的変数）の間の線形な関係性を学習し、未知の入力に対して目的変数を予測することです。しかし、どんなに複雑なモデルを作ったとしても、その予測が的外れであれば意味がありません。
モデルの評価を行うことで、以下の点を把握できます。
・モデルの予測精度: 実際の値と予測値がどの程度一致しているか。
・モデルの汎化性能: 未知のデータに対しても同様の精度で予測できるか。
・モデルの改善点: 誤差の傾向を分析し、モデルの改良に繋げるヒントを得る。
適切な評価指標を選択し、モデルの特性を理解することで、より信頼性の高い予測モデルを構築できます。
3. 線形回帰モデルの主要な評価指標
3.1. 平均二乗誤差 (Mean Squared Error: MSE)
各データポイントにおける予測値と実際の値の差（残差）を二乗し、その平均を取ったものです。
MSE=\frac{1}{n}\sum_{i=1}^{n}(y_i−\hat{y_i})^2
特徴:
・誤差を二乗することで、誤差の大きさを強調し、大きな誤差に対してより大きなペナルティを与えます。
・単位は目的変数の単位の二乗になります。
・値が小さいほど、モデルの予測精度が高いと評価できます。
・外れ値の影響を受けやすいという欠点があります。
3.2. 二乗平均平方根誤差 (Root Mean Squared Error: RMSE)
MSEの平方根を取ったものです。
RMSE = \sqrt{MSE}
特徴:
・MSEと同様に誤差の大きさを評価しますが、平方根を取ることで単位が目的変数と同じになり、解釈しやすくなります。
・MSEと同様に、値が小さいほどモデルの予測精度が高いと評価できます。
・こちらも外れ値の影響を受けやすいです。
3.3. 平均絶対誤差 (Mean Absolute Error: MAE)
各データポイントにおける予測値と実際の値の差（残差）の絶対値を取り、その平均を取ったものです。
MSE=\frac{1}{n}\sum_{i=1}^{n}|y_i−\hat{y_i}|
特徴:
・誤差の大きさを絶対値で評価するため、MSEやRMSEと比較して外れ値の影響を受けにくいです。
・単位は目的変数と同じで、誤差の大きさを直感的に理解しやすいです。
・MSEやRMSEほど微分可能性に優れていないため、最適化アルゴリズムによっては扱いにくい場合があります。
3.4. 決定係数 (R-squared)
モデルによって説明できる目的変数の分散の割合(モデルが実際のデータに対してどれくらい当てはまっているか)を示します。0から1の間の値をとり、1に近いほどモデルの当てはまりが良いと評価されます。
R^2 = 1 - \frac{RSS}{TSS}
ここで
RSSは残平方和(Residual Sum of Squares)
RSS=\sum_{i=1}^{n}(y_i−\hat{y_i})^2
TSSは総平方和(Total Sum of Squares)
TSS=\sum_{i=1}^{n}(y_i−\bar{y})^2
特徴:
・モデルがデータの変動をどの程度説明できているかを示す、直感的で分かりやすい指標です。
・異なるスケールの目的変数を持つモデル同士の性能を比較するのに適しています。
・説明変数の数が増えると、見かけ上決定係数の値が上昇する傾向があるため、注意が必要です（自由度調整済み決定係数を用いることでこの影響を軽減できます）。
・モデルの予測誤差の大きさ自体を示すわけではありません。
3.5. 自由度調整済み決定係数 (Adjusted R-squared)
決定係数を、説明変数の数とデータサイズに基づいて調整したものです。
R_{adj}^2 = 1 - \frac{n - 1}{n - p - 1}(1 - R^2)
ここで、
・R^2：決定係数
・n：データサイズ
・p：説明変数の数
特徴:
・説明変数の数を増やすことによる決定係数の過大評価を抑制します。
・不要な説明変数を追加すると値が低下するため、変数の選択の際に役立ちます。
・基本的な解釈は決定係数と同様です。
4. モデル評価時の注意点
単に上記評価指標の数値を見るだけでなく、以下の点にも注意を払うことも必要となってきます。
・データの分割: モデルの学習に使用したデータ（訓練データ）だけで評価を行うと、過学習（訓練データに特化しすぎて未知のデータに対する予測性能が低い状態）を見抜くことができません。必ず、学習には使用していない検証データやテストデータを用いて評価を行う必要があります。
・誤差の分布の確認: 残差（実際の値と予測値の差）の分布をヒストグラムや散布図などで確認することで、誤差に偏りがないか、特定のパターンが見られないかなどを把握できます。誤差が正規分布に従っていることが理想的ですが、そうでない場合はモデルの改善が必要となる可能性があります。
・外れ値の影響: MSEやRMSEは外れ値の影響を受けやすいため、データに外れ値が含まれる場合は注意が必要です。MAEなど、外れ値の影響を受けにくい指標と合わせて評価したり、外れ値への適切な対処を検討したりする必要があります。
・ドメイン知識の活用: 評価結果を解釈する際には、そのデータに関するドメイン知識を考慮することが重要です。例えば、予測が難しい特定の状況が存在する場合や、データの収集方法に偏りがある場合などが考えられます。
5. まとめ
今回は、線形回帰モデルの評価について、主要な評価指標とその特徴、そして評価時の注意点についてまとめました。
・MSE, RMSE: 誤差の大きさを二乗で評価。外れ値に敏感。
・MAE: 誤差の大きさを絶対値で評価。外れ値に頑健。
・決定係数:モデルが実際のデータに対してどれくらい当てはまっているかを示す指標です。
・自由度調整済み決定係数: 説明変数の数を考慮し決定係数。
これらの指標を適切に選択し、データの分割、誤差の分布、外れ値の影響、そしてドメイン知識を考慮することで、線形回帰モデルの性能をより深く理解することができます。
最後までお読みいただきありがとうございました。