この記事の目的
モデルのパフォーマンス分析について、必要な知識を学ぶ。
モデル評価手法
混同行列については過去記事でまとめてるので、それ以外のモデル評価手法についてまとめます。
ヒートマップ
混同行列を視覚化するためのグラフのこと。赤外線のあれみたいに、レインボーな色の濃淡で値を表現する。
モデルがどのクラスを正しく予測し、どこで誤っているかを視覚的に把握することができる。
Amazon QuickSight で作成できるらしい。（機械学習のメトリクスにも適用できるのかな？）
二乗平均平方根誤差 (RMSE)
回帰モデルに使用する。
予測値と実測値の差（損失）の平均的な大きさを表す、損失関数のひとつ。
誤差の大きさを直感的に把握できるが、外れ値に大きな影響を受ける。
ROC曲線 (Receiver Operating Characteristic)
分類モデルに使用する。
モデルの予測能力をグラフで見る方法で、性能を視覚的に評価できる。
ROC曲線下面積 (AUC)
こちらも分類モデルに使用する。
ROC曲線の下の面積を指し、値が1に近いほど性能が良い。
モデルの過学習と学習不足を特定するには？
モデルが過学習状態か学習不足状態かは、損失の様子からある程度予測ができる。
| 状態 | トレーニングデータの精度 | 検証データの精度 | 損失の様子 |
|---|---|---|---|
| 過学習 | 高い | 低い | トレーニングデータの損失が減少し、検証データの損失が増加している |
| 学習不足 | 低い | 低い | トレーニングデータの損失と検証データの損失が高いまま変化しない |
| 良いモデル | 高い | 高い | トレーニングデータの損失と検証データの損失が近い値でしかも低い |
過学習への対策
主に以下のような手段がある。
データを増やす
正則化を利用する
早期停止
その他、モデルが複雑になりすぎないようにする（パラメータを減らしたり、レイヤーを減らしたり）など。
学習不足への対策
特徴量エンジニアリングを行う
エポック数を増やし、トレーシング時間を延長する
その他、モデルをより複雑にする（パラメータを増やしたり、レイヤーを増やしたり）など。