這應該是一個很常聽到的方法
對於數值型的
若我們選定了一個模型及其特徵
代入我們所觀察到的 得到預測值
則我們可以計算每個預測值與真實值的誤差
將其平方(使他非負)並取平均,如下式:
我們稱上式為「均方誤差」(Mean Square Error, MSE)
這個形式很容易解讀也很容易求微分
所以很常被使用
還有一個跟他很像的
是「平均絕對誤差」(Mean Absolute Error, MAE)
其形式如下
由於 MSE 中對誤差取了平方
所以他對於離群值 (outliers)較為敏感
這時候 MAE 相對有魯棒性(robust)
但是收斂速度慢是他常為人詬病的缺點