學習小法術~正則化跟正規化

15th鐵人賽學習筆記

rubylin

團隊好想放假大學

2023-09-25 15:36:16

1621 瀏覽

分享至

好困、好忙、好累

正則化（ Regularization ）

正則化主要用於防止模型 Overfitting

正則化方法（ Lp 正則項）

通過向損失函數添加懲罰項（正則化項）來調整模型的係數，降低模型的複雜度

L1 正則項（ Lasso ）

是絕對值之和的懲罰，調整模型的係數，用於特徵選擇
數學公式
$\lambda \sum_{j=1}^{p} |\beta_j|$

L2 正則項（ Ridge ）

L2正則項是平方之和的懲罰，調整模型的係數，有助於防止 Overfitting
數學公式
$\lambda \sum_{j=1}^{p} \beta_j^2$

正規化（ Normalization ）

正規化是一種資料預處理技術，用於調整資料的尺度或範圍，確保資料特徵具有相似的尺度

最小-最大縮放（ Min-Max Scaling ）

用於將資料縮放到 [0, 1] 的範圍內
數學公式
$https://chart.googleapis.com/chart?cht=tx&chl=X_%7B%5Ctext%7Bnormalized%7D%7D%20%3D%20%5Cfrac%7BX%20-%20X_%7B%5Ctext%7Bmin%7D%7D%7D%7BX_%7B%5Ctext%7Bmax%7D%7D%20-%20X_%7B%5Ctext%7Bmin%7D%7D%7D$

標準化（ Standardization ）

用於將資料轉換為均值為 0 、標準差為 1 的正態分佈
數學公式
$https://chart.googleapis.com/chart?cht=tx&chl=X_%7B%5Ctext%7Bstandardized%7D%7D%20%3D%20%5Cfrac%7BX%20-%20%5Cmu%7D%7B%5Csigma%7D$