※ここで載せる情報については、僕のアウトプットの為の情報なので、間違っている部分もただあると思いますが、もしここ違うよ、とかあれば教えて頂けると幸いです。
・決定木のアンサンブル学習について
アンサンブルの学習手法については2つある。
1) ブースティング
2) バギング
それぞれについて解説する。
1) ブースティングについて
これは、弱学習器を直列に並べて、一つずつ順番に学習させ、予測値を出す手法のこと。ここで大事になってくるのが、順番に学習させるが、一つ前の学習で出た予測値を次の学習でも使用することだ。こうすることで、予測値と実測値の誤差が少なくなっていく。
2) バギング
これは、先程のブースティングとは逆で、弱学習器を並列に並べて、それぞれ独自で学習させる。そして、それぞれで出た予測値を平均、もしくは多数決を取って一つの予測値を出す手法のこと。