• 今天我們要談的是在ML書籍或部落格上常會看到的名詞，也就是：
  在昨天我們有談到成本函數與誤差函數在一般書上或blog看到的時候，你可以把它當成是同一個名詞。

• 因為作者在寫書的時候，通常不會細分到是真對單一樣本還是全體樣本，若要是細分，我們可以具體區分如下：

ˋˋˋ

• 成本函數（cost-function）:

f(x)=y - y‘
y實際誤差，y’是測試誤差

• 誤差函數（error-function/lost-function）:

y = f(x) = 1/N (y -y’)
這裏的N全體樣本數，如果要正規化則加入\lambda 項
y = f(x) = 1/N (y -y’) + \lambda

ˋˋˋ

• 目標函數（objective function），未「objective function」:

通常我們都是先確定一個「目標函數」，再去優化它。

• 目標函數：在不同的演算法的有不同意義：

  • 決策樹分類器（Classification And Regression Tree，CART）：最大化信習增益（information gain）/減少子節點純度（gini 純度 ）

  • 決策樹迴歸（CART）、線性迴歸（linear regression）、線性適應神經元（ ADAptive LInear NEuron ，Adaline）、：最小化平方差誤差損失（或成本）函數

  • 支持向量機（SVM）：找出「最大化」的「邊界」

  • 天真貝式（Naive Bayes）:最大化概似函數

  • 增強學習（reinforcement learning ）：最大化回報（報酬）（reward function）/值函數

  • 相似度或者最小化信息熵損失（或成本）函數：最大化log

以上這些你可能會看不懂在寫什麼，先放在心上有個概念，在未來日會詳談。