Qiita Teams that are logged in
You are not logged in to any team

Log in to Qiita Team
Community
OrganizationEventAdvent CalendarQiitadon (β)
Service
Qiita JobsQiita ZineQiita Blog
222
Help us understand the problem. What are the problem?

More than 1 year has passed since last update.

@kenmatsu4

XGBoostのお気持ちを一部理解する

現在、Kaggleにてよく使われる手法の一つにGBDT(Gradient Boosting Decision Tree)があります。さらにその種類の1つXGBoostはKagglerによりその効果を検証され非常に人気の高いアルゴリズム・実装です。このブログでは、XGBoostの論文からアルゴリズムを理解するための主要な部分、
* 2. TREE BOOSTING IN A NUTSHELL
* 2.1 Regularized Learning Objective
* 2.2 Gradient Tree Boosting
を丁寧に解説することを目的に書いています。

また、ここで解説した理論、アルゴリズムについてはLightGBMにおいてもほぼ同じと思いますので、合わせて参考になるかと思います。

おことわり

しかしながら、最初におことわりをさせていただくのですが、markdownやtexでキレイにまとめる余裕がなかったため、iPadで書いた手書きのメモを暫定的に公開し、markdown化が済んだらまた更新する形とさせていただきます。(Qiita前代未聞の手書き記事?)

PDF版の方が画像が鮮明なので、細かいところを見たい方はこちらPDF版をご参照ください。

xgboost_001.png
xgboost_002.png
xgboost_003.png
xgboost_004.png
xgboost_005.png
xgboost_006.png

いかがでしたか?少しでもXGBoostやGBDTのお気持ちがわかってもらえたら幸いです。この記事を読んで少しでもためになったと思われた方は「いいね」ボタンやRetweetをお願いします!:wave:

Reference

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
222
Help us understand the problem. What are the problem?