XGBoostの概要
XGBoostは "eXtreme Gradient Boosting" の略であり、勾配ブースティングを使ったツリーのアンサンブル学習です。その優れた性能と速さから、KaggleやKDDCupなどで上位の成績を修めたモデルにもよく使われています。実際2015年のKaggleコンペでは29の優勝モデルのうち、17モデルがXGBoostを使ったモデルでした。
XGBoostのアルゴリズム
目的変数の推定方法
\widehat {y}_i=\phi \left( x_{i}\right) =\sum ^{K}_{k=i}f_{x}\left( x_{i}\right) ,f_{k}\in F
F =\{f\left( x\right) =
W_q \left(x)\right \}\left(q:R^{m}\rightarrow T, w\in R^{T}\right)
$F$は決定木(CART)の空間を表しています。各ツリーで求めらられたスコアをクラスごとに集計し、$\widehat {y}_i$を求めます。$K$はスコアを足す際に使われる関数です。
モデルの評価と学習方法
モデルの評価方法は次のようになります。
\mathcal{L}(\phi)=\sum_{i} l\left(\hat{y}_{i}, y_{i}\right)+\sum_{k} \Omega\left(f_{k}\right)
\Omega(f)=\gamma T+\frac{1}{2} \lambda\|w\|^{2}
yの損失は、L1正則化に、学習した重みもを滑らかにするためのペナルティー項をたしたものです。
上の関数の最適化にあたり、通常のユークリッド空間上の最適化手法を使うことができないため、greedyに$y_t$を足すことで、徐々に最適なLを求めていきます。
そのようにして求めた、構造 qを持つ決定木の上での重みwと、それに対応する評価式は次のように求められます。
w_{j}^{*}=-\frac{\sum_{i \in I_{j}} g_{i}}{\sum_{i \in I_{j}} h_{i}+\lambda}
\tilde{\mathcal{L}}^{(t)}(q)=-\frac{1}{2} \sum_{j=1}^{T} \frac{\left(\sum_{i \in I_{j}} g_{i}\right)^{2}}{\sum_{i \in I_{j}} h_{i}+\lambda}+\gamma T
また、各ノードの評価式は
\mathcal{L}_{s p l i t}=\frac{1}{2}\left[\frac{\left(\sum_{i \in I_{L}} g_{i}\right)^{2}}{\sum_{i \in I_{L}} h_{i}+\lambda}+\frac{\left(\sum_{i \in I_{R}} g_{i}\right)^{2}}{\sum_{i \in I_{R}} h_{i}+\lambda}-\frac{\left(\sum_{i \in I} g_{i}\right)^{2}}{\sum_{i \in I} h_{i}+\lambda}\right]-\gamma
で求められます。
またXGBoostでは過学習を防ぐために、Shrinkageというテクニックとfeature subsampling というテクニックを使います。Shrinkageは古い情報からの学習を減らしていく方法です。
以上のようなテクニックを使うことで、XGBoostでは効率的にかつ的確に学習をすることが可能となっています。
詳細はこちらをご参照ください。
XGBoostのパラメター
よく指定するパラメターを紹介します。
| パラメター | 概要 | 値 | デフォルト |
|---|---|---|---|
| booster | 弱学楽器の種類 | gbtree, dart (ツリーモデル) gblinear(線形モデル) | gbtree |
| verbosity | ログの出力 | 0(無), 1(警告), 2(info), 3(debug) | 1 |
| validate_parameters | 入力されたパラメターが使われたかどうかをチェック | false/true | false |
| nthread | 並列処理のスレッド数 | int | CPUのmax |
| eta | Shrinkageのサイズ。学習率lrと同等。大きいほど保守的なモデルになる。 | [0,1] | 0.3 |
| gamma | 新しいノードを作成するために必要な損失減少の最小値。大きいほど保守的なモデルになる。 | [0, inf] | 0 |
| max_depth | 木の深さ。大きいほど過学習する。 | int | 6 |
| min_child_weight | 各child nodeでのwの合計の最小値。大きいほど保守的なモデルになる。 | [0,inf] | 0 |
| subsample | ツリーの作成に使うサンプルの大きさ。 | (0, 1] | 1 |
| sampling_method | サブサンプルの選択方法 | uniform, gradient_based | uniform |
| lambda | L2正則化項 | [0, inf] | 1 |
| alpha | L1正則化項 | [0, inf] | 0 |
| objective | 学習の目的 | reg:squarederror, reg:squaredlogerror, reg:logistic, binary:logistic,multi:softmax... | reg:squarederror |
| eval_metric | モデルの評価方法 | rmse, rmsle, mae, logloss, error | objectiveに対応 |
| seed | 乱数のseed | seed | 0 |
詳しくはこちらをご参照ください。
XGBoostをPythonで実行
from xgboost.sklearn import XGBClassifier
model = XGBClassifier(
learning_rate =0.01,
n_estimators=5000,
max_depth=4,
min_child_weight=6,
gamma=0,
subsample=0.8,
colsample_bytree=0.8,
reg_alpha=0.005,
objective= 'binary:logistic',
nthread=4,
scale_pos_weight=1,
seed=27
)
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
詳しくはこちらをご参照ください。