iT邦幫忙

2023 iThome 鐵人賽

DAY 12
0

原理

組合多個弱學習機來構建一個強學習機

  1. 將每個樣本的權重初始化為相等的值
  2. 建構弱分類器
  3. 將誤差大的資料權重加大
  4. 重複2跟3
  5. 加權投票決定結果
    https://ithelp.ithome.com.tw/upload/images/20230927/20163280vzHRsfrrBI.png

建構弱分類器及調整權重

圖片來源: https://www.youtube.com/watch?v=tH9FH1DH5n0&list=PLJV_el3uVTsPy9oCRY30oBPNLCo89yu49&index=33

  1. 一組data初始化權重後訓練弱分類器
    https://ithelp.ithome.com.tw/upload/images/20230927/20163280r7QNoOoKVP.png
  2. 依據上一個分類器的結果,正確分類的資料減少權重,錯誤的增加權重,以此data訓練另一個弱分類器
    https://ithelp.ithome.com.tw/upload/images/20230927/20163280sBnoSHH4Kh.png
  3. 重複2

優缺點

  • 優點:
    • 不易過擬合
    • 可組合多個弱分類器來提高準確率
  • 缺點:
    • 對異常值較敏感
    • 計算成本高

參考資料


上一篇
Day11-集成學習Ensemble Learning(bagging/boosting)
下一篇
Day13-Gradient Boosting
系列文
什麼演算法?一起來學機器學習!30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言