Day10 - 分類結果的好壞

之前已經介紹了一些分類的方法，但是究竟要如何評估模型的分類效果，判斷它是否真正學會了分類，今天會介紹如何評估分類結果的好壞。

準確率 (Accuracy)

準確率是一個常見的方法，就是把所有預測正確的樣本數除以所有樣本數。然而，這個方法有明顯的缺陷。例如，在預測癌症的模型中，機器只需要預測所有人都沒有癌症，就可以有很高的準確率，但這顯然不是一個好的模型。

混淆矩陣 (Confusion Matrix)

混淆矩陣是另一種評估方法，它的結構如下：

• TP (True Positive)：預測為第一類且實際也是第一類。
• FP (False Positive)：預測為第一類但實際是第二類。
• FN (False Negative)：預測為第二類但實際是第一類。
• TN (True Negative)：預測為第二類且實際也是第二類。

這個表可以用來計算兩種評估模型的方法：召回率 (Recall) 與精確率 (Precision)。

召回率 (Recall)

召回率的計算公式為：

TP/(TP+FN)

它表示在所有正樣本中，有多少被模型正確偵測出來。

精確率 (Precision)

精確率的計算公式為：

TP/(TP+FP)

它表示模型偵測出的正樣本中，有多少是真正的正樣本。

F1-score

F1-score 將召回率與精確率結合，是它們的調和平均數，計算公式如下：

相關名詞

這些評估方式在各領域都有應用，不同領域有不同的名詞：

• False alarm = False positive = Type I error
• Detection miss = False negative = Type II error
• HIT = True positive
• Correct rejection = True negative

ROC 空間

ROC 空間是由 TPR 與 FPR 所畫出的二維空間。

• TPR (True Positive Rate)：TPR = TP / (TP + FN)
• FPR (False Positive Rate)：FPR = FP / (FP + TN)

TPR 表示正樣本被正確判斷為正樣本的比例，FPR 表示負樣本被錯誤判斷為正樣本的比例。

例子說明

假設我們有三個模型 A、B 和 C：

將它們在 ROC 空間中畫出來：

• A 模型：TPR 高，FPR 低，表示大部分正樣本和負樣本都能正確辨識。
• B 模型：TPR 與 FPR 相同，表示隨機猜測。
• C 模型：TPR 低，FPR 高，表示不好的模型。

因此，越靠近左上角的模型越好，越靠近右下角的模型越差。

ROC 曲線

我們可以為模型設定不同參數，並在 ROC 空間中畫出如下曲線，稱為 ROC 曲線。評估這個曲線的方法是計算曲線下方的面積，稱為 AUC (Area Under the Curve)。理想的 AUC 為 1，表示完美的模型，但現實中 AUC 通常在 0.5 到 1 之間，AUC 越高表示模型越好。

選擇好的評估方式

在選擇評估方式時，應根據樣本數控制不變的情況下選擇適當的方法。一般來說，ROC 或 AUC 不會受樣本數影響，是較佳選擇，F1-score 也不受樣本數影響，同樣是良好的評估方式。