iT邦幫忙

第 11 屆 iThome 鐵人賽

DAY 10
0
AI & Data

漫談機器學習與Tensorflow初探系列 第 10

損失函數-機器學習基礎

在上一節中,我們使用參數和超參數將模型定義為數學函數,並介紹了線性模型的參數。然後,我們討論了尋找最佳模型參數集的分析方法。以及如何透過在參數空間中進行搜索來優化參數。但是要將一個點與另一個點進行比較,我們需要採取某種方法。

損失函數

在本節中,我們將討論損失函數,這些函數能夠從訓練集中獲取一組數據點的預測值,並將其組合為一個數字,從而估算模型當前參數的品質。單點預測品質的一種度量標準就是預測值與實際值之間的這種差異。

https://ithelp.ithome.com.tw/upload/images/20191001/20115480TGc6Nwrni1.png

這種差異稱為錯誤(error)。我們如何將一堆錯誤值放在一起?最簡單的方法是將它們組合成一個總和。但是,如果我們使用sum函數來組合我們的誤差項,則結果模型會將相反符號的誤差項視為彼此抵消。儘管我們的模型確實需要處理矛盾的數據,但並不是直接將正負誤差之間的差異進行抵銷。取而代之的是,我們希望為模型保留這樣的錯誤,在該模型中,預測與數據集中所有點的標籤都匹配,而不是對於那些會相互抵消的,帶有符號錯誤的模型。誤差的絕對值之和感覺是一個合理的選擇,但是這種組合數據的方法也存在問題,我們稍後會來處理。這邊通常使用所謂的均方誤差(MSE)是透過從數據集中獲取一組誤差項來計算的。取其平方消除負值,然後計算平方的平均值。

https://ithelp.ithome.com.tw/upload/images/20191001/20115480zE2VtDx05A.png

MSE是一個完全有效的損失函數,但存在一個問題。儘管誤差可能以磅、公里或美元為單位,但平方誤差將以磅平方、公里平方或美元平方為單位。這會使MSE難以解釋。因此,我們通常取MSE的平方根(也就是RMSE)作為代替,以獲得我們可以理解的單位。RMSE越大,預測的質量越差。因此,我們要做的是最小化RMSE。


上一篇
現代神經網路-ML簡史
下一篇
梯度下降法(Gradient Descent)
系列文
漫談機器學習與Tensorflow初探19
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言