はじめに
機械学習で汎用的なモデルを作成するにはバイアスとバリアンスが大切と実感することがあったのでメモします。
上手くモデルがつくれないときのパターン分け
モデルは現実の近似。モデルの現実との僅差として2つの誤差要因に分けられる。
irreducible error（既約誤差）
未知であったり予測不可能な要因や単なる偶然のこと、減少させることはできない。
reducible error（可約誤差）
モデルの調整によってさらに低減することができる誤差。
「2乗偏りによる誤差」および「分散による誤差」にさらに分解することができる。
バイアスとバリアンス
バイアス：モデルの偏りの大きさ。
バリアンス：モデルの過学習のしやすさ。
バイアスとバリアンスはトレードオフの関係にある。
モデルがシンプルな場合：高バイアス・低バリアンス
モデルが複雑な場合：低バイアス・高バリアンス