雖然標題是說"標準" SVM,不過模型這種東西從來就沒有什麼標準,有的不過是變體。
所以這篇是要跟大家總結一下我們一般在用的 SVM 模型的預設值是長什麼樣子。
我們前面從 maximum-margin classifier 出發,尋找最大 margin 的分類器。
接著,為了解決非線性跟計算效能問題,引進了 kernel trick。
最後,為了避免 overfitting,我們放寬了 margin 成為 soft-margin。
這些都是標準 SVM 的預設配備。
當然還有為了解決計算效能問題,使用了 Lagrange multiplier,由於背後的數學太過煩雜就不介紹了。
簡單來說,Lagrange multiplier 的使用,讓原本的問題(primal problem)可以有另外的對偶問題(dual problem)。
我們只要解了對偶問題,我們就可以解掉原本的問題,雖然有時候會碰到一些限制。
原本問題的陳述是這樣的:
轉變成對偶問題然後簡化後的陳述是這樣的:
不要問我怎麼來的,你一問我就要開始另一篇數學了,你會怕。
解完上面的問題,我們可以得到一些資訊,我們可以從 的數值範圍來得知一個資料點他是不是 support vector。
只要他的值在 這個範圍,他就是 support vector。
我們最後在形成整個 SVM 模型的時候其實只需要這些 support vector 就可以了。