梯度提升樹是什麼?

講人話就是將隨機森林的概念更進一步應用，策略性地逐步建構多棵決策樹模型，間接讓重要的特徵佔有更多的權重，得到準確度更高的決策樹森林，就叫做梯度提升樹。

淺談梯度提升樹

梯度提升樹的核心觀念是累加所有樹的殘差(預測值減實際值)作為最終結果，這也是為什麼梯度提升樹是回歸樹(預測實際的值)的原因，感覺還是有點抽象，以下舉一個通俗的例子，假設有一個訓練集{A,B,C,D}，他們的年齡分別是14、16、24、26，依特徵(年齡較為相近)建構樹(下圖左)，並計算殘差，{A,B,C,D}的結果分別為-1、1、-1、1，將此殘差用來建立另一棵樹(下圖右)，再計算殘差，很幸運地，{A,B,C,D}的結果均為0，即預測年齡等於實際年齡。

Reference:https://codertw.com/%E7%A8%8B%E5%BC%8F%E8%AA%9E%E8%A8%80/582502/

A = 15 - 1 = 14歲(購物金額 <= 1k && 經常提問)
B = 15 + 1 = 16歲(購物金額 <= 1k && 經常回答)
C = 25 - 1 = 24歲(購物金額 >= 1k && 經常提問)
D = 25 + 1 = 26歲(購物金額 >= 1k && 經常回答)