XGBoost (迴歸器)

今日學習目標

• 了解 XGBoost Regression
  • Boosting vs Decision tree & Bagging vs. Boosting
• 實作 XGBoost 迴歸器
  • 查看 XGBoost 在簡單線性迴歸和非線性回歸表現

XGBoost是boosting算法的其中一種，它除了可以做分類也能進行回歸連續性數值的預測，而且效果通常都不差。Boosting演算法的思想是將許多弱分類器集成在一起形成一個強分類器。

Boosting vs Decision tree

• 決策樹通常為一棵複雜的樹
• Boosting 是產生非常多棵的樹但是每一棵的樹都很簡單

目標把多個簡單的樹合再一起才能當最後的預測

Bagging vs. Boosting

一般來說 Boosting 的模型會比 Bagging 來的精準。

• Bagging 透過抽樣的方式生成樹，每棵樹彼此獨立
• Boosting 透過序列的方式生成樹，後面生成的樹會與前一棵樹相關

本系列教學簡報 PDF & Code 都可以從我的 GitHub 取得！
文章同時發表於： https://andy6804tw.github.io/crazyai-ml/15.XGBoost/

如果你對機器學習和人工智慧（AI）技術感興趣，歡迎參考我的線上免費電子書《經典機器學習》。這本書涵蓋了許多實用的機器學習方法和技術，適合任何對這個領域有興趣的讀者。點擊下方連結即可獲取最新內容，讓我們一起深入了解AI的世界！

👉 全民瘋AI系列 [經典機器學習] 線上免費電子書
👉 其它全民瘋AI系列 —— 這是一個入口，匯集了許多不同主題的AI免費電子書