iT邦幫忙

2021 iThome 鐵人賽

DAY 16
0
自我挑戰組

Machine Learning With Me ,從零開始機器學習!系列 第 16

Day 16: 人工神經網路初探 損失函數(上)

損失函數 Loss function

損失/誤差函數(loss function)又叫做代價函數(cost function),是用來評估模型的預測值與真實值不一致的程度,也是神經網絡中優化的目標函數,神經網絡訓練或者優化的過程就是最小化損失函數的過程,損失函數越小,說明模型的預測值就越接近真實值,模型的健壯性也就越好。

損失函數可以被大約分成三種類別:

  • 回歸損失函數(Regression loss function) 通常使用於當我們想要訓練模組去預測連續值結果,像是股票價位與房屋價位。
  • 二元分類損失函數 (Binary Classification) 通常使用於當我們想要訓練模組去預測最大值的兩個類別(classes),像是貓和狗或者癌症或非癌症。
  • 多元分類損失函數(Multi classification) 通常使用於當我們模組需要預測多於兩個的類別,像是物件偵測。

Regression loss function

  • Mean squared error (MSE)
    何時使用: 這是Regression問題的默認誤差函數,推薦使用於目標變數是普遍或者高斯型態的分布狀態

  • Mean squared logarithmic error (MSLE)
    這個函數先計算預測值的對數值和計算MSE
    何時使用: 當目標變數具分散值和預測較大的值時,可能不希望懲罰模組像是MSE那麼嚴重。通常使用於你的模組在預測非刻度值時。

  • Mean absolute error loss
    將其計算為期望值與預測值之間的絕對差平均值。
    何時使用: 當目標變數是普遍分散和有些離群值時。

Binary Classification Loss function

  • Binary cross-entrpoy
    這是二元分類問題的預設損失函數,此函數優於其他函數。
    Cross-entropy計算了實數與預測第一類別機率分布的平均總和數,分數是被最小化的,且最好的值設定為零。
    何時使用: 當目標數值的範圍在0到1之間。

  • Hinge loss
    這個函數備主要使用於支援向量機,基於二元分類。
    何時使用: 當目標數值的範圍在-1到1之間。

  • Squared hinge loss
    此函數計算hinge loss的平方,平滑誤差還數的表層,使其更容易使用在數值上。

參考資料:
https://kknews.cc/code/9opor8j.html


上一篇
Day 15: 人工神經網路初探 激活函數(下)
下一篇
Day 17: 人工神經網路初探 損失函數(下)
系列文
Machine Learning With Me ,從零開始機器學習!30

尚未有邦友留言

立即登入留言