iT邦幫忙

14.2%企業願意聘用大資料人才
Cloud Future Built Today
IT EXPLAINED 數位轉型攻略 VII

2023 iThome 鐵人賽
DAY 22
0
AI & Data

什麼演算法?一起來學機器學習!系列 第 22 篇

Day22-LightGBM(Light Gradient Boosting Machine)

15th鐵人賽 機器學習 machine learning lightgbm 學習筆記
689 瀏覽

  • 分享至 

  • xImage
    •  

利用弱分類器（決策樹）迭代訓練或得強分類器，其具有訓練效果好、不易過擬合等優點。

LightGBM V.S. XGBoost

圖源: https://reurl.cc/Ryyg9D
https://ithelp.ithome.com.tw/upload/images/20231007/20163280uMCLeX9FhU.png

  • XGBoost
    • XGBoost是基於gradient boosting進行優化，包括加入正規化來防止過擬合等
    • XGBoost樹以水平方向生長，是一層一層生長
    • 關於XGBoost在幾天前的文章中有寫過筆記
    • XGBoost的缺點:
      • 需大量記憶體
      • 花費時間較多
  • LightGBM
    • LightGBM樹以垂直方向生長(如圖)，使用帶有深度限制的按葉子生長(leaf-wise) 的方式
    • 透過GOSS技術，LightGBM能夠在保持較高預測效能的同時，減少記憶體消耗
      • GOSS的方法: 簡單來說就是保留有最大梯度的資料，並在其他具有小梯度的資料上採用隨機取樣

參考資料


上一篇
Day21-主成分分析 (Principal Component Analysis)
下一篇
Day23-Naive Bayes Classifier
系列文
什麼演算法?一起來學機器學習! 共 30 篇
  1. 26
    # Day26-Single Shot MultiBox Detector (SSD) part1
  2. 27
    # Day27-Single Shot MultiBox Detector (SSD) part2
  3. 28
    Day28-Single Shot MultiBox Detector (SSD) part3
  4. 29
    Day29-混淆矩陣(confusion matrix)
  5. 30
    Day30-完賽啦！對於這次鐵人賽，我有話要說
完整目錄
.

尚未有邦友留言

立即登入留言
iThome鐵人賽
參賽組數
1064 組
團體組數
40 組
累計文章數
22211 篇
完賽人數
600 人
iT+看影片追技術 看影片追技術 看更多
熱門tag 看更多
15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽 鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js
熱門問題
.
熱門回答
熱門文章
.