我們來回顧一下 SVM 模型。

他可以被進一步轉成

在 SVM 的陳述當中，有沒有發現 這部份看起來跟 regularization 一樣。後半部份是跟誤差有關。

如果分類分對的話， 就會是大於等於 1，這樣的話後面整項計算起來就會是 0。

如果分類分對但是離線太近的話， 就會是小於 1，這樣後面整項會是一個小於 1 的值，代表離線太近了，算是些微的誤差。

如果分類都分錯， 根本就是負值，後面整項會是一個大於 1 的值，代表離線太遠了，算是很大的誤差。

Hinge error

這樣的誤差計算方式稱為 hinge error，也就是：

-regularized linear model

所以我們根本可以把模型看成是一個 -regularized 的線性模型。

不懂 regulariztion 的朋友請左轉 我之前寫過的鐵人文章。

基本上，你想把誤差函數換成其他的東西都可以，像是變成 kernel -regularized linear regression (kernel ridge regression)。

或是你想要 kernel -regularized logistic regression。