iT邦幫忙

2023 iThome 鐵人賽

DAY 14
0

是基於 Gradient Boosted Decision Tree (GBDT) 改良與延伸

Boosting

  • XGBoost是一種集成學習技術,通過組合多個弱學習機來構建一個強學習機
  • 每個新的學習器都會嘗試修正前面學習器的錯誤,逐步提高模型的性能。

弱學習機

  • XGBoost通常以決策樹作為弱學習機
  • 這些決策樹通常max_depth很小

XGBoost

XGBoost原理類似gradient boosting
https://ithelp.ithome.com.tw/upload/images/20230929/20163280uGnTpavvpE.png

  • 使用梯度提升的方法來訓練每棵樹
  • 不過它加入了正規化(GBDT沒有,當正規化係數為 0 ,即為一般的 GBDT。)
    https://ithelp.ithome.com.tw/upload/images/20230929/20163280leQmOEmJxD.png

參考資料&圖源


上一篇
Day13-Gradient Boosting
下一篇
Day15-stacking
系列文
什麼演算法?一起來學機器學習!30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言