iT邦幫忙

2023 iThome 鐵人賽

DAY 10
0

好困、好忙、好累


正則化( Regularization )

正則化主要用於防止模型 Overfitting

正則化方法( Lp 正則項)

通過向損失函數添加懲罰項(正則化項)來調整模型的係數,降低模型的複雜度

L1 正則項( Lasso )

是絕對值之和的懲罰,調整模型的係數,用於特徵選擇
數學公式
https://chart.googleapis.com/chart?cht=tx&chl=%20%5Clambda%20%5Csum_%7Bj%3D1%7D%5E%7Bp%7D%20%7C%5Cbeta_j%7C

L2 正則項( Ridge )

L2正則項是平方之和的懲罰,調整模型的係數,有助於防止 Overfitting
數學公式
https://chart.googleapis.com/chart?cht=tx&chl=%5Clambda%20%5Csum_%7Bj%3D1%7D%5E%7Bp%7D%20%5Cbeta_j%5E2

正規化( Normalization )

正規化是一種資料預處理技術,用於調整資料的尺度或範圍,確保資料特徵具有相似的尺度

最小-最大縮放( Min-Max Scaling )

用於將資料縮放到 [0, 1] 的範圍內
數學公式
https://chart.googleapis.com/chart?cht=tx&chl=X_%7B%5Ctext%7Bnormalized%7D%7D%20%3D%20%5Cfrac%7BX%20-%20X_%7B%5Ctext%7Bmin%7D%7D%7D%7BX_%7B%5Ctext%7Bmax%7D%7D%20-%20X_%7B%5Ctext%7Bmin%7D%7D%7D

標準化( Standardization )

用於將資料轉換為均值為 0 、標準差為 1 的正態分佈
數學公式
https://chart.googleapis.com/chart?cht=tx&chl=X_%7B%5Ctext%7Bstandardized%7D%7D%20%3D%20%5Cfrac%7BX%20-%20%5Cmu%7D%7B%5Csigma%7D

正規化向量( Vector Normalization )

用於將特徵向量的長度(歐幾里德範數)調整為 1

參考資料

https://tomohiroliu22.medium.com/%E6%A9%9F%E5%99%A8%E5%AD%B8%E7%BF%92-%E5%AD%B8%E7%BF%92%E7%AD%86%E8%A8%98%E7%B3%BB%E5%88%97-11-%E6%AD%A3%E5%89%87%E5%8C%96-regularization-lasso-regression-%E5%92%8Cridge-regression-52bc9d3794e6


上一篇
重啟旅途~監督式學習 —— 線性迴歸和邏輯迴歸
下一篇
樹下休息~決策樹
系列文
機器學習新手行,相信你也行!30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言