iT邦幫忙

2025 iThome 鐵人賽

DAY 7
0
AI & Data

從RAG到EmoRAG:讓AI真正聽懂你的心聲系列 第 7

第7天:文字EmoRAG基礎測試與評估

  • 分享至 

  • xImage
  •  

什麼是情緒分類常用的準確率指標

情緒分類常用的準確率指標有以下幾種,分別從不同角度量化模型的分類效能,是學術與實務分析必備。

主要指標定義

  • 準確率(Accuracy)
    全部預測正確樣本數佔總樣本數的比例。公式:

Accuracy = \frac{TP + TN}{TP + TN + FP + FN}

其中TP(真陽性)、TN(真陰性)、FP(偽陽性)、FN(偽陰性)。
適合類別分布均衡時,反映整體模型準確性。

  • 精確率(Precision)
    預測為某情緒(正類)的樣本中,真實也屬於該情緒的比例。公式:

Precision = \frac{TP}{TP + FP}

用來評估模型預測某情緒結果的可信度。

  • 召回率(Recall)
    真實為某情緒的樣本中,模型成功預測為該情緒的比例。公式:

Recall = \frac{TP}{TP + FN}

用來衡量模型漏判情緒事件的情況。

  • F1-score
    精確率與召回率的調和平均數,更適合不均衡資料情境。公式:

F1 = 2 \times \frac{Precision \times Recall}{Precision + Recall}

可針對每類情緒計算macro、weighted平均F1分數。


上述指標是情緒分類模型效能評估的業界標準,廣泛應用於AI、語言處理、心理量表等場景,能支撐嚴謹且多維度的科學分析。


實作:

實作目標: 建立測試框架,評估文字情緒RAG效果
資料集: lansinuote/ChnSentiCorp

  • 準確率通常做為第一層性能判斷的直觀指標,但在情緒數據分布不均或偏重某些類別時,精確率、召回率和F1-score更具參考價值。
  • 多分類情緒任務,會對每個標籤分別計算,並報告平均值。
  • 部分資料標示錯誤。
  • 雖然準確率很高,但實際測試結果不佳,可能是overloading。

  • 在使用NB、SVM、RF模型訓練做比較,SVM得到的結果最佳。
  • 混淆矩陣結果
  • 參數結果

    實作放在colab

上一篇
第6天:LangGraph基礎與EmoRAG Graph設計
下一篇
第8天:OpenCV與DeepFace圖像情緒辨識
系列文
從RAG到EmoRAG:讓AI真正聽懂你的心聲8
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言