ガウス過程回帰に関する自分用のメリット・デメリットのメモ
特徴
- ノンパラメトリックなモデルである
- 確率モデル(ベイズ推定)
メリット
- 線形回帰でフィットできないものでもフィットできる
- ガウス分布型の基底関数を無限個持ってきた線形回帰とRBFカーネルを用いたガウス過程回帰は対応している
- ノンパラメトリックなので予めモデルを選択する必要がない
- 確率的モデルであるため予測がどれくらい『当たらないのか』がわかる
- データが少ない部分の予測は分散が大きくなってしまいブレることが視覚的にプロットできる
- ハイパーパラメータは過学習の可能性があるが、訓練データに対しては過学習しにくい(ベイズ推定なので)
- 要出典
デメリット
- 共分散行列の逆行列の計算が訓練用データ$N$に対して$O(N^{3})$ 程度になる
- がもっと良いアルゴリズムがあるのである程度解消されている