元算法(meta-algorithm)是對其他算法進行組合,意思就是會對數據進行多重的抽樣,將數據分配給不同的模型分類器後,再收回來整合。
對於數據隨機抽樣的其中一個方法叫做Bagging,允許重複抽樣,然後對每一次抽樣到的樣本進行分類器訓練,然後用這些訓練好的分類器去分類新的數據X,每一個分類器會得到一個分類結果,X屬於哪一類就用多數決去決定。
另一個抽樣方法是Boosting,其中最有名的是AdaBoost(Adaptive Boosting)算法。Boosting的概念是,利用被分錯的數據集,給予更多的權重後,去訓練下一個模型,讓下一個模型更能專注在將這些分錯的數據集重新分類,然後就一值延續這個過程,值到誤差到達設定的範圍內就停止。之後將這些訓練到的模型結果,加權求和,就得到最後的分類。
在scikit-learn中是規在Ensemble methods之下連結。