時間過得非常的快,從我鐵人賽開賽到今天已經過了三分之一的時間了,這段時間裡我每天過著如鐵人一般被學習筆記追殺的日子(還敢說),但我認為我能堅持量產一篇相關技術方面的學習筆記值得給自己說一聲你很棒了XD,好了說完前面的閒聊之後,接下來我必須要說一些技術上的內容,在前兩天的文章中我主要提到關於神經網路中激勵函式的部分,而今天我主要想要學習神經網路另外一個很重要的部分損失函式.

損失函式

在大部分的機器學習中的算法主要都是希望最大化或最小化一個函式或是指標,這個函式被稱為目標函式,而在深度學習中神經網路用到的目標函式指的都是損失函式.損失函式可以被分為分類與回歸兩個面相,而基本上與成本有關的問題,目標是將損失函式最小化.損失函式的損失就是「實際值和預測值的殘差(residual)」.

常用的損失函式

• 回歸上的損失函式

1. 均方誤差(MSE)
   

2. 平均絕對值誤差(MAE)
   

3. 根均方誤差(RMSE)
   

• 分類上的損失函式

1. 交叉熵(cross-entropy)
   
2. 二元交叉熵(binary cross-entropy)
   

參考資料:

• https://zh.wikipedia.org/zh-tw/%E6%8D%9F%E5%A4%B1%E5%87%BD%E6%95%B0
• https://chih-sheng-huang821.medium.com/%E6%A9%9F%E5%99%A8-%E6%B7%B1%E5%BA%A6%E5%AD%B8%E7%BF%92-%E5%9F%BA%E7%A4%8E%E4%BB%8B%E7%B4%B9-%E6%90%8D%E5%A4%B1%E5%87%BD%E6%95%B8-loss-function-2dcac5ebb6cb