model fit

• overfitting:在訓練資料上表現良好，但在評估資料上表現不佳
• underfitting:在訓練資料上表現不佳
• balanced:非overfitting和underfitting

Bias and Variance

• Bias是預測值與實際值之間的差異或誤差
  High Bias訓練資料與模型之間不匹配，通常表示模型underfitting
  漸少Bias，使用更複雜的模型或增加更多有意義的Features
• Variance是衡量模型在不同但分佈相似的資料集上訓練時，性能變化的程度
  High Variance模型對訓練資料中的細微變化過於敏感，通常表示模型overfitting
  減少Variance進行特徵選擇(保留較少且更重要的特徵)；多次隨機切分訓練集與測試集

Confusion Matrix(Classification)

• 用於分類問題(Classification)，比較predicted value與actual value
• True Positive(TP)預測為正、實際為正
• False Positive(FP)預測為正、實際為負
• False Negative(FN)預測為負、實際為正
• True Negative(TN)預測為負、實際為負
• Precision: TP / (TP + FP)
  在所有預測為正樣本中，真正正樣本的比例
• Recall : TP / (TP + FN)
  在所有正樣本中，正確預測為正樣本的比例
• Accuracy : (TP + TN) / (TP + FP + TN + FN)
• F1 Score : 2 x (Precision x Recall) / (Precision + Recall)
  Precision與Recall的調和平均數

AUC-ROC(Classification)

• AUC值範圍0 ~ 1，越接近1越好
• ROC曲線比較的是模型的真陽性率與偽陽性率之間的曲線變化關係
• 衡量binary classification在不同閾值(threshold)下的整體表現
• 在座標中，越靠近左上角，模型越好

Regression Metrics

• 用於連續值預測問題
• MAE(Mean Absolute Error)，預測與真實值差異的平均距離
• MAPE(Mean Absolute Percentage Error)，誤差以百分比表示
• RMSE(Root Mean Squared Error)，對大誤差更敏感，常用於回歸模型
• R²(R-squared)，衡量模型解釋資料變異的能力，越接近1越好