iT邦幫忙

2019 iT 邦幫忙鐵人賽

DAY 20
0

接下來介紹scikit-learn的第二個回歸模型--脊回歸Ridge Regression
由於前天連結介紹透過均方誤差的算法,但如果數據集存在多重線性關係,均方誤差的算法就會對outlier非常敏感,所以當w係數相當大時,只要X一有一點點的小變動,所造成的結果就會因為w係數大,而結果差異大,造成模型不穩定的情況,因此脊回歸就是要修正這個問題。

脊回歸的算法是透過給予估計的係數w懲罰,當w係數大的時候,脊回歸的係數就會把他扣回來。詳細解說我覺得這裡寫得最清楚(連結),可以參考看看。當帶入懲罰值後,會去看帶入的結果會不會比原本用均方誤差的算法得到更小的誤差值。

可以使用變異膨脹因子(VIF)來檢測結果,VIF是用來看自變數是否有共線性,VIF的結果越小越好,如果偏大可能就代表自變數有共線性,代表自變數之間不為互相獨立。


上一篇
[第19天]回歸--線性回歸-2
系列文
資料工程師的Machine Learning/工作學習歷程20

尚未有邦友留言

立即登入留言