学習曲線とは

機械学習における学習曲線とは、trainデータ、validationデータそれぞれにおける学習時のパフォーマンスをプロットしたグラフのことである。

一般的な学習曲線のグラフは横軸がepoch数、縦軸がlossまたはaccuracyとなった折れ線グラフである。

この学習曲線を観察することで学習がうまくいっているか否か、またうまくいかない場合には何が原因かを大まかに把握することができる。

ここでは、よくある学習曲線の形状と、そこから推測されることを説明する。

Example 1: Underfitting

複雑な問題に対して単純なモデルを使用している。（画像分類にロジスティック回帰を用いるなど）
→ アンサンブル学習を採用したり、ニューラルネットワークなどのより複雑なデータを扱うことのできるモデルに変更する
そもそも、学習データに共通するパターンが存在しない。
→ データセットの定義方法を変える

単純な問題に対して複雑なモデルを使用し、データからノイズを拾ってしまっている。
→ データセットに合わせた適切なモデルを選択する。
→ DLを使用している場合はDropout層を追加したり、weight decayを設定する。
データセットの数が不十分で、モデルがパターンを認識できていない。
→ データ数を増やす。
データの量に偏りがある。
→ UndersmplingやOversamplingなどを用いて、データを均一にする

train loss, valid loss どちらもスコアが小さくなっているにもかかわらず、両者の間に大きなギャップがある。

validationデータに対してtrainデータの数が少ない。
→ train dataの割合を増やす。
→ そもそものデータが少ない場合には、データの水増しを行う。

train loss は収束しているように見えるが、valid loss は train loss の値の周辺でノイジーな動きをしている。

trainデータに対してvalidationデータの数が少ない。（Example3の逆）
→ validationデータの割合を増やす。
→ そもそものデータが少ない場合には、データの水増しを行う。

【参考】
How to use Learning Curves to Diagnose Machine Learning Model
Learning Curve to identify Overfitting and Underfitting in Machine Learning