LightGBMとは

・LightGBMは決定木の勾配ブースティングのフレームワーク

決定木

・決定木（DecisionTree）は教師あり学習の一つ
・チャート表示をすると推測結果を明確かつ簡単に説明できる

アンサンブル学習

・Ensemble Learning
・勾配ブースティングはアンサンブル学習のブースティングの手法を使用する
・アンサンブル学習は複数のモデルを融合させて1つの学習モデルを生成する手法
・複数人で意見を出し合って知識を補い合いながら解く方が正答率が上がるのと考え方は同じ
・アンサンブル学習は「バギング」「ブースティング」「スタッキング」の3つの手法に分けることができる
・バギングはそれぞれのモデルを並列的に学習を行う。対してブースティングは前の学習器の結果を次の学習データに反映させる。
・バギングによるアンサンブル学習の手法を「ランダムフォレスト」と呼ぶ。対して、勾配ブースティングは決定木を弱学習器として「ブースティング」の手法を用いてアンサンブル学習を行う。

勾配ブースティング

・勾配ブースティングは複数の弱学習器（LightGBMの場合は決定木）を１つにまとめるアンサンブル学習の「ブースティング」を用いた手法
・前の学習結果を次の学習へ反映させる方法
　・まず決定木1号でモデル訓練を行い推測結果を評価する
　・決定木2号は1号の推測結果と実際の値の誤差を訓練データとして、2号の訓練を行う。N号の決定木はN-1号の決定木の誤差（Residuals）を学習する。
・勾配ブースティングはそれぞれの弱学習器の誤差を学習する

参考