Pedro Domingos的演算法分類:

符號學派

2. 集成學習法Ensemble Method

• 集成學習法:降低一個樣本的缺點，混合多種樣本子集合、多種演算法且最後透過投票多數決or加權平均來產生答案。
  ➊袋裝法Bagging=引導聚集演算法Bootstrap Aggregation

  • 隨機抽取的多個不同子樣本集經樣本運算，結果以投票or平均方式來決定。
  • 是一種並行的方法。
  • 目的是降低偏差、不平衡以及噪音，能達到此目的是因為抽樣。
  • 沒有強依關係，可同時生成。
  • 模式選擇:決策樹、SVM、迴歸分析、類神經網路。
  • 只解決了樣本有偏失的問題。
    

  ➋隨機森林Random Forest，簡稱RF=特徵/改進版的袋裝法Feature Bagging

  • 改進版Bagging(加上模式選用不同的特徵子集合)。
  • 提高模式多樣性，從各樹原先樣本中隨機選擇不同的特徵子集合來建構➞每棵樹獨立、不相同與無相關性。
  • 同時解決單一樣本與單一演算法的偏失。
  • 大幅度降低過度擬合、不穩定的問題，提升準確度。
    

  ➌提升法Boosting

  • 序列式、強依賴的關係。
  • 不斷從錯誤中改善模式準確度的集成學習法。
  • 自是應提升法(Adaptive Boost)步驟:
    1.先創造一個淺層創造力弱的決策樹。
    2.輸入資料後找出錯誤的樣本。
    3.每個樣本都給不同的權重，錯誤越大權重越高。
    4.串見第二顆弱的決策樹，把不同權重資料再度輸入與此，修正上次預測錯誤。
    5.重複執行2-5。
    6.由過去每一次結果加權求得最終答案。
    

➊Bagging比較➌Boosting

參考來源:人工智慧:概念應用與管理 林東清