iT邦幫忙

第 11 屆 iT 邦幫忙鐵人賽

DAY 12
0

介紹完機器學習最主要的兩種類型之後,接著就是對於模型更進一步改進的介紹了,本部分最主要解釋的是整體學習(ensamble learning)的想法。

弱學習器與強學習器

我們大概可以知道,模型一定有預測能力較弱以及較強的兩種結果,更精準的定義可以說弱學習器就是比隨機亂猜要好一些的學習器,在不同模型之間因為學習的差異一定會有些預測能力的差異,但我們都會希望最後模型預測的越準越好,這時候該怎麼辦呢?

三個臭皮匠勝過一個諸葛亮

弱學習器雖然不能夠獨自擁有高準確度,但是他還是有部分的辨識能力,因此可以透過不斷的學習與累積弱學習器,從而整體出超越強學習器的結果,例如有五個準確度為70%的弱學習器,與一個準確度為80%的強學習器,我們可以計算出5個弱學習器投票分類正確的結果為83%,已經有超過強學習器的分類強度了!

一個線性模型無法成功分類

兩個線性模型就能區隔資料了

整體學習演算法

  1. Boosting
    使用加大錯誤樣本權重的方式,基於上一個學習器的結果不斷的訓練,類似於針對弱點進行加強訓練的邏輯。
  2. Bagging
    將資料進行抽樣,分別訓練出多個模型,並將結果平均。
  3. Voting
    眾多分類器,直接投票來計算到底該分類為哪個答案。

關於boosting算法的實作將在之後的章節示範~


上一篇
DAY[11]-機器學習(2)非監督式機器學習
下一篇
DAY[13]-機器學習(4)競賽常勝軍(xgboost&lightgbm)
系列文
Python機器學習介紹與實戰30

尚未有邦友留言

立即登入留言