iT邦幫忙

2023 iThome 鐵人賽

DAY 29
0
AI & Data

深入探索AI模型系列 第 29

【Day 29】 ROC Curve、AUC

  • 分享至 

  • xImage
  •  

昨天講完Confusion Matrix,理解了TP、FP、TN和FN的概念過後,今天要來講會利用到這些的另外一個評估指標—ROC Curve(Receiver Operating Characteristic Curve)。

以下是筆者之前做過有關COVID-19模型預測的ROC Curve。x軸代表False Positive Rate、y軸代表True Positive Rate,ROC Curve的結果如果越貼近左上點代表這個預測做得越好、越貼近右下角的點則代表這個預測做得越差。因此從ROC Curve去判斷,做得最好的是Normal的部分。

https://ithelp.ithome.com.tw/upload/images/20230823/20150784bzvNgT3H60.png

從ROC Curve可以延伸出一個概念—AUC(Area Under the Curve of ROC),也就是ROC Curve底下的面積。AUC若是越大,則代表ROC Curve越貼近左上角,因此預測做得越好;反之,AUC若是越小,則代表ROC Curve越貼近右下角,因此預測做得越差。

另外,我們可以大致從AUC的值來給定分類器的品質。

(一)AUC = 1:完美分類器
(二)0.5 < AUC < 1:優於隨機猜測
(三)AUC = 0.5:跟隨機猜測一樣,沒有價值的模型
(四)AUC < 0.5:做得比隨機猜測還差,但反過來講,只要選擇預測相反的結果就會優於隨機預測


上一篇
【Day 28】 Confusion Matrix(混淆矩陣)
下一篇
【Day 30】 總結
系列文
深入探索AI模型30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言