我將介紹最後一項關鍵的定量指標 ROC 曲線 (Receiver Operating Characteristic),以衡量模型在區分不同災害類別時的信心程度。最後,我們將進行部署,將 ResNet34 冠軍模型公開化!
ROC 曲線用來評估分類器在各種閾值下的整體表現,橫軸為偽陽性率(FPR),縱軸為真陽性率(TPR);其下方面積即 AUC(Area Under the Curve)。AUC 越接近 1,代表模型在不同閾值下都能以高信心把正負樣本區分開來;在多分類情境常採 one-vs-rest 或宏平均來彙整整體表現。由於 ROC/AUC 不依賴單一閾值,對類別不平衡相對較不敏感,因此常被視為穩健的衡量指標;但在極端不平衡時仍建議搭配 Precision–Recall 曲線一起解讀,避免高估模型實用性。
| 圖示元素 | 意義解析(以 ResNet34 模型為例) |
|---|---|
| 對角線 | 虛線(y = x):代表隨機猜測的性能;AUC ≈ 0.5 則與隨機無異。 |
| 所有曲線 | 幾乎貼近左上角,表示在多數閾值下能同時維持高 TPR、低 FPR,分類信心充足。 |
| AUC 數值 | 所有類別 AUC 均高於 0.95,顯示整體區分能力強。 |
| 最差曲線 | 藍綠色曲線(AUC 0.952):雖為最差,但仍屬高表現區間。 |
| 最佳曲線 | 多數曲線 AUC ≥ 0.99:接近理想分類器,上限表現優異。 |
ResNet34 在測試集上不僅準確,而且其分類決策是高度可靠的,這為我們將其選為冠軍模型並部署到 Hugging Face Spaces 提供了強有力的技術支持。