iT邦幫忙

第 11 屆 iT 邦幫忙鐵人賽

DAY 23
0

簡單回顧
之前在介紹 Gradient Descent 及 ML入門(十五)Regularization(Solving overfitting)都有提到,在做最佳化的時候, 會對目標函數加入一些限制條件。舉個例子好了,最近朋友推薦看一部動漫,相信大家也都很熟才對,鬼滅之刃,主角炭治郎在接受訓練時,一直拼命練習為了能夠變得更強,但是幫他訓練的柱,還是會要求他休息養傷,終究是人類還是得休息。這就是限制條件,在最佳化的問題時,必須要有所限制。

由下面這張圖可以看到,紅色典是training data,綠色點是testing data。很明顯地紅色的線完整的 f 擬合training data,但是testing data所造成的誤差很大,有high variance及overfitting的情況。
https://ithelp.ithome.com.tw/upload/images/20191005/20116157bfsSlN0Mi4.png

Ridge Regression就是產生一條新的線(藍色線),不要那麼完整地擬合taining data。
https://ithelp.ithome.com.tw/upload/images/20191005/20116157e5aIFfOjnF.png

之前的章節有提到一個model的好壞必須要有一個目標函數來衡量它,也就是loss function,這邊是MSE(mean square error)為例子,以下圖紅色線來說,它的MSE為0,藍色線MSE > 0。現在加入懲罰項(是不是有點熟悉的感覺),重新計算兩條線的error,可以發現藍色線是比較小的,所以藍色的線條雖然減少對training data擬合的程度,但是能夠提高對testing data 擬合的程度。
https://ithelp.ithome.com.tw/upload/images/20191005/20116157zyGBapVGie.png
https://ithelp.ithome.com.tw/upload/images/20191005/20116157QXmaaEtbI6.png

講到這邊應該很熟悉吧!!之前在討論Regularization也有提到,只是那個時候沒有給它特別的名字,所以如果對ridge regression不熟的可以再對照之前所講的,可能才會更加了解。


上一篇
ML_Day22(XGBoost)
下一篇
ML_Day24(如何訓練數據集---數據預處理)
系列文
機器學習入門28

尚未有邦友留言

立即登入留言