集成方法

• 使⽤不同⽅式，結合多種不同分類器，作為綜合預測的做法。
• 將模型截長補短，也可說是機器學習裡的「多數決」

資料面集成

使⽤不同訓練資料 + 同一種模型，多次估計的結果合成最終預測

裝袋法(Bagging)

• 將資料放入袋中抽取，每回合結束後全部放回袋中重抽
• 再搭配弱分類器取平均多數決結果
• 最有名的就是前⾯學過的隨機森林

提升法(Boosting)

• 之前模型的預測結果，去改變資料被抽到的權重或⽬標值
• 將錯判資料被抽中的機率放⼤，正確縮⼩，就是⾃適應提升
• 依照估計誤差的殘差項調整新⽬標值，就是梯度提升機(Gradient
  Boosting Machine) 的作法

特徵面集成

使⽤同⼀資料 + 不同模型，合成出不同預測結果

混合泛化(Blending)

• 不同模型的預測值加權合成，權重和為 1
• 取預測的平均或一人一票多數決(每個模型權重相同)，則又稱為投票泛化(Voting)
• 前提是 : 個別單模效果都很好(有調參)並且模型差異大

堆疊泛化(Stacking)

• 將預測結果混合，使用預測結果當新特徵
• 更進一步的運用了資料輔助集成，使得 Stacking 複雜許多

混合泛化相對堆疊泛化來說，
優點在於使用容易，
缺點在於無法更深入的利用資料更進一步混合模型。

以上，打完收工。