iT邦幫忙

第 12 屆 iThome 鐵人賽

DAY 21
1
影片教學

全民瘋AI系列系列 第 21

[Day 21] XGBoost (迴歸器)

XGBoost (迴歸器)

今日學習目標

  • 了解 XGBoost Regression
    • Boosting vs Decision tree & Bagging vs. Boosting
  • 實作 XGBoost 迴歸器
    • 查看 XGBoost 在簡單線性迴歸和非線性回歸表現

XGBoost是boosting算法的其中一種,它除了可以做分類也能進行回歸連續性數值的預測,而且效果通常都不差。Boosting演算法的思想是將許多弱分類器集成在一起形成一個強分類器。

Boosting vs Decision tree

  • 決策樹通常為一棵複雜的樹
  • Boosting 是產生非常多棵的樹但是每一棵的樹都很簡單

目標把多個簡單的樹合再一起才能當最後的預測

Bagging vs. Boosting

一般來說 Boosting 的模型會比 Bagging 來的精準。

  • Bagging 透過抽樣的方式生成樹,每棵樹彼此獨立
  • Boosting 透過序列的方式生成樹,後面生成的樹會與前一棵樹相關

本系列教學簡報 PDF & Code 都可以從我的 GitHub 取得!


上一篇
[Day 20] XGBoost (分類器)
下一篇
[Day 22] 機器學習模型技巧 Stacking
系列文
全民瘋AI系列31

尚未有邦友留言

立即登入留言