在一個二元分類模型中,我們的目標是預測兩個可能的結果之一,但在一般情況下,模型不會直接輸出 0 或 1 以確定分類,而是會為每個可能的分類輸出一個機率值,然後這些機率值通常會通過應用諸如 softmax 之類的函數來轉換成機率分佈,這樣做的好處是我們就可以根據任務的需求設定一個閾值(threshold),當預測機率大於閾值時,就將資料點歸類為正例,否則歸為負例。
因此,透過選擇不同的閾值,就可以得到不同的分類結果,這樣的情況下,ROC curve 和 PR Curve 就派上了用場,它可以用來比較不同模型在不同閾值設定下的表現
是一種用於評估分類模型效果的圖表,它由兩個關鍵指標組成,分別是 FPR(假陽性率,False Positive Rate)和 sensitivity(真陽性率,True Positive Rate)
ROC Curve 的建構過程中,關鍵在於閾值的設定,閾值會決定什麼樣的模型輸出將被視為正例或負例,而為了畫出完整的 ROC Curve,就會需要遍歷從 0 到 1 之間的各種閾值,然後計算對應的 FPR 和 TPR 值,再將這些組合繪製在座標系中,最後 ROC Curve 就完成了
ROC Curve 一定會經過的兩個特殊點:(0, 0)和(1, 1)
ROC Curve 的優點是它對於類別分佈的變化不敏感,因為 ROC Curve 的指標 FPR 和 TPR 都是比例值,所以不會依賴類別擁有的資料數量
另外,ROC Curve 也可以用來幫助選擇適當的閾值,不同的應用可能對假陽性和假陰性的衡量有不同的需求,ROC Curve 這時就可以幫助我們視覺化這種衡量,從而選擇最合適的閾值,以滿足特定任務的要求
PR Curve 參考了 ROC Curve 的功能,由 Recall 與 Precision 所組成,它比較適合用於類別分佈不平衡的狀況,因為在類別不平均的情況下(負樣本較多),FPR 的成長會被負樣本的數量稀釋,導致 ROC Curve 呈現過度樂觀的結果,PR Curve 透過使用 Precision 和 Recall 這兩個更適合不平衡資料的指標,提供了更準確的效能評估