iT邦幫忙

第 11 屆 iT 邦幫忙鐵人賽

DAY 28
0

損失函數

機器學習的訓練過程可以視為在選定的模型之下,針對所給定的資料集,尋找出一組最適合的 模型參數(Model Parameter) ,以達到最好的表現。而在尋找最終模型參數的階段,是一個不斷嘗試各種模型參數組合在訓練資料上的表現,並且不斷優化的過程,在這個優化的過程中,需要有個數值去衡量目前的表現如何,並且該往什麼方向繼續嘗試優化下去,而這個指導模型優化過程的數值就是我們今天要介紹的 損失函數(Loss Function)

從損失函數的名稱上來看,我們可以知道損失函數是模型在優化過程中必須去極力 最小化(Minimize) 的數值,並且根據所使用的模型,該損失函數也必須滿足一些條件才可以讓模型順利地使用,比如說可以進行微分等。選定適合的損失函數對於我們的模型訓練過程是相當重要的。以下我將會針對機器學習當中的兩種問題類型,也就是回歸分類問題,分別去介紹裡面有哪些常見的損失函數。

首先是在回歸問題當中,常見的損失函數有 均方誤差(Mean Square Error, MSE) (註1),用以衡量預測值和真實值之間誤差平方的平均值。另外還有針對均方誤差取平方根的 均方根誤差(Root Mean Square Error, RMSE) (見圖1與註2),可以得到和目標值相同的單位。

而在分類問題當中,常見的損失函數為 交叉熵(Cross Entropy) (見圖2與註3),考量對類別進行分類預測的機率與真實值,以大幅度地懲罰分類錯誤程度大的狀況,引導正確的優化方向。

https://ithelp.ithome.com.tw/upload/images/20191014/201202613LTjGW3yBw.png
圖1
Source: Coursera - Launching into Machine Learning

https://ithelp.ithome.com.tw/upload/images/20191014/20120261P1Ilh8zZW7.png
圖2
Source: Coursera - Launching into Machine Learning

註1: https://zh.wikipedia.org/wiki/%E5%9D%87%E6%96%B9%E8%AF%AF%E5%B7%AE
註2: https://zh.wikipedia.org/wiki/%E5%9D%87%E6%96%B9%E6%A0%B9%E8%AF%AF%E5%B7%AE
註3: https://zh.wikipedia.org/wiki/%E4%BA%A4%E5%8F%89%E7%86%B5


上一篇
Day 27 - Launching into Machine Learning (7)
下一篇
Day 29 - Launching into Machine Learning (9)
系列文
Understanding and Applying Machine Learning with Google Cloud Platform30

尚未有邦友留言

立即登入留言