iT邦幫忙

第 11 屆 iT 邦幫忙鐵人賽

DAY 29
0

評估指標?混淆矩陣?該怎麼決定要收手了?

評估指標會根據問題的不同而有不同的答案,通常會反映在損失函數(Loss Function)上。
以線性回歸問題來說,MSE或RMSE就可以當成我們的目標。
問題變成二元分類問題時,也許使用cross-entropy就會是比較好的選擇。

Cross-entropy的概念可以從softmax看起,在特殊狀況下就能簡化成cross-entropy的形式。

上面這些都是數字化的量化手段,難道就一定正確嗎?
不一定,所以實際使用的時候更常使用混淆矩陣(Confusion Matrix)來幫助我們判斷模型的適用與否。
有關於混淆矩陣的定義,我想有興趣的人查混淆矩陣就可以得到對應的公式;所以我在這邊提供簡單的記憶。

所謂的預測/模型結果,無非是讓我們更接近真實。
如果實際上有這個現象(正常現象),但判斷認為是異常結果,造成人力物力的浪費。
如果實際上為異常,但判斷認為只是正常現象,造成拖延治療。
實際上正常當中我們錯判為不正常的比例,就稱為FPR(False Positive Rate)。
實際上異常當中我們正確辨識出來異常的比例,就稱為TPR(True Positive Rate)。
ROC曲線就是根據FPR與TPR對應連成的曲線。

Recall就是TPR。

Precision這個東西,要講的是當我(願意)做判斷時,判斷中對的比例。
為什麼說願意做判斷?
因為可以不做決定呀,做很肯定的決定,錯誤少,Precision就會比較高。
以人類社會來說大家會說你很

Recall就不同了,它檢驗的標準就是樣本中全部可能的問題,能判斷中幾個。

這兩個指標來說,Precision像深度而Recall像廣度,兩者兼顧當然很好,所以就利用調和平均產生了F1-score

至於什麼時候可以停止繼續運算?
好問題,也許這就是市場調查專家的本行了吧。


上一篇
Day28: 超參數 x 調整 x GCP
下一篇
Day30: 問題 x 核心 x 未來
系列文
初心者的GDC攻略30

尚未有邦友留言

立即登入留言