回歸用Loss function

昨天我們看了分類用的Loss function，今天我們要來介紹回歸用的Loss function。

Mean Square Error(MSE、L2)

MSE又稱L2損失，公式如下:

簡單來說就是預測值與真實值差異的均方值做相加。
MSE越小越好。

5 Regression Loss Functions All Machine Learners Should Know

Mean Absolute Error(MAE、L1)

MAE又稱L1損失，公式如下:

簡單來說就是預測值與真實值的差值取絕對值做相加。
MAE也是越小越好。

5 Regression Loss Functions All Machine Learners Should Know

L1和L2誰比較好?

為了能夠比較，因此我們把MSE做平方根，就是RMSE。

接著我們就可以比較了。

假設現在有資料為下表，每一筆的資料差異不大，那麼算出來的MAE與RMSE差不多。

那麼現在我們把其中一筆資料社很大看看會發生甚麼事情

可以發現，如果有一筆資料與其他資料相差很大時，MAE不受什麼影響，但是RMSE卻變得非常大!

因此我們知道MAE對異常值的魯棒性很好。
但MAE有一個問題，就是在更新權重時，因為梯度在整個過程都是相同的，這樣會造成找不到最低點的問題，因此要用動態學習率來避免。

結論

MSE對異常數值非常敏感，因此如果要檢測離群值時，使用MSE很好。
如果我們認為離群值只是單純的資料誤差，那麼我們就可以使用MAE。

參考資料

機器/深度學習: 基礎介紹-損失函數(loss function)
5 Regression Loss Functions All Machine Learners Should Know