介紹完機器學習最主要的兩種類型之後，接著就是對於模型更進一步改進的介紹了，本部分最主要解釋的是整體學習(ensamble learning)的想法。

弱學習器與強學習器

我們大概可以知道，模型一定有預測能力較弱以及較強的兩種結果，更精準的定義可以說弱學習器就是比隨機亂猜要好一些的學習器，在不同模型之間因為學習的差異一定會有些預測能力的差異，但我們都會希望最後模型預測的越準越好，這時候該怎麼辦呢？

三個臭皮匠勝過一個諸葛亮

弱學習器雖然不能夠獨自擁有高準確度，但是他還是有部分的辨識能力，因此可以透過不斷的學習與累積弱學習器，從而整體出超越強學習器的結果，例如有五個準確度為70%的弱學習器，與一個準確度為80%的強學習器，我們可以計算出5個弱學習器投票分類正確的結果為83%，已經有超過強學習器的分類強度了!

一個線性模型無法成功分類

兩個線性模型就能區隔資料了

整體學習演算法

1. Boosting
   使用加大錯誤樣本權重的方式，基於上一個學習器的結果不斷的訓練，類似於針對弱點進行加強訓練的邏輯。
2. Bagging
   將資料進行抽樣，分別訓練出多個模型，並將結果平均。
3. Voting
   眾多分類器，直接投票來計算到底該分類為哪個答案。

關於boosting算法的實作將在之後的章節示範~