iT邦幫忙

2025 iThome 鐵人賽

0

我將介紹最後一項關鍵的定量指標 ROC 曲線 (Receiver Operating Characteristic),以衡量模型在區分不同災害類別時的信心程度。最後,我們將進行部署,將 ResNet34 冠軍模型公開化!

ROC 曲線用來評估分類器在各種閾值下的整體表現,橫軸為偽陽性率(FPR),縱軸為真陽性率(TPR);其下方面積即 AUC(Area Under the Curve)。AUC 越接近 1,代表模型在不同閾值下都能以高信心把正負樣本區分開來;在多分類情境常採 one-vs-rest 或宏平均來彙整整體表現。由於 ROC/AUC 不依賴單一閾值,對類別不平衡相對較不敏感,因此常被視為穩健的衡量指標;但在極端不平衡時仍建議搭配 Precision–Recall 曲線一起解讀,避免高估模型實用性。

  1. ROC 曲線實作與結果
    我使用 Fast.ai 和 Scikit-learn 等工具來計算並繪製多類別的平均 ROC 曲線。這張圖是 ResNet34 模型在驗證集上計算的 多分類 ROC 曲線 圖。它採用 One-vs-Rest (OvR) 策略繪製,即針對每一個類別,都將其視為「正樣本」,其餘所有類別視為「負樣本」,從而得到一條 ROC 曲線。
    https://ithelp.ithome.com.tw/upload/images/20251106/20153667A3ytNIcl9M.jpg
圖示元素 意義解析(以 ResNet34 模型為例)
對角線 虛線(y = x):代表隨機猜測的性能;AUC ≈ 0.5 則與隨機無異。
所有曲線 幾乎貼近左上角,表示在多數閾值下能同時維持高 TPR、低 FPR,分類信心充足。
AUC 數值 所有類別 AUC 均高於 0.95,顯示整體區分能力強。
最差曲線 藍綠色曲線(AUC 0.952):雖為最差,但仍屬高表現區間。
最佳曲線 多數曲線 AUC ≥ 0.99:接近理想分類器,上限表現優異。

ResNet34 在測試集上不僅準確,而且其分類決策是高度可靠的,這為我們將其選為冠軍模型並部署到 Hugging Face Spaces 提供了強有力的技術支持。


上一篇
Day 23:混淆矩陣診斷與模型訓練狀態分析
下一篇
Day 25:部署與 LLM 應用鋪陳
系列文
從入門村到最終 BOSS:30 天打通深度學習主線29
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言