昨天講完Confusion Matrix,理解了TP、FP、TN和FN的概念過後,今天要來講會利用到這些的另外一個評估指標—ROC Curve(Receiver Operating Characteristic Curve)。
以下是筆者之前做過有關COVID-19模型預測的ROC Curve。x軸代表False Positive Rate、y軸代表True Positive Rate,ROC Curve的結果如果越貼近左上點代表這個預測做得越好、越貼近右下角的點則代表這個預測做得越差。因此從ROC Curve去判斷,做得最好的是Normal的部分。
從ROC Curve可以延伸出一個概念—AUC(Area Under the Curve of ROC),也就是ROC Curve底下的面積。AUC若是越大,則代表ROC Curve越貼近左上角,因此預測做得越好;反之,AUC若是越小,則代表ROC Curve越貼近右下角,因此預測做得越差。
另外,我們可以大致從AUC的值來給定分類器的品質。
(一)AUC = 1:完美分類器
(二)0.5 < AUC < 1:優於隨機猜測
(三)AUC = 0.5:跟隨機猜測一樣,沒有價值的模型
(四)AUC < 0.5:做得比隨機猜測還差,但反過來講,只要選擇預測相反的結果就會優於隨機預測