正規化可減少模型overfitting的問題

L1 regularization (Lasso)

• 加入L1正規化 (loss function + L1 regularization)
  

• get gradient 對w做偏微
  

  • w > 0, 結果為1 ; w < 0, 結果為-1 ; w = 0, 結果為0
  • sgn(x) 判斷實數正負號

• 每次更新
  

  • learning rate 通常是正的
  • 正規化係數通常也是正的
  • 如果 sgn(w) = 1 -> w ↓
  • 如果 sgn(w) = -1 -> w ↑

L2 regularization (Ridge)

• 加入L2正規化 (loss function + L2 regularization)
  
• get gradient 對w做偏微 (我手寫的見諒)
  • 關於為甚麼有1/2 (與2做消除)
    
• 每次更新
  
  • learning rate 通常是正的
  • 正規化係數通常也是正的
  • 1 - learning rate * regularization coefficient < 1
    -> w ↓ (原w越大，計算後改變越多)

Lasso & Ridge

• lasso
  • 不論參數大小，下降速度一致
  • 結果會有接近0的，也會有很大的值
• ridge
  • 參數大，下降較快; 參數小，下降較慢
  • 結果會保留很多很小的值

Elastic net

• loss function + L1 regularization + L2 regularization
  
  • lasso 下降速度不一致，可能導至相關性高的不同變數僅保留一部分(會執行變數挑選)
  • ridge 產生多個很小的值，w會一起下降(皆降低)
• 總結: Elastic Net綜合了Ridge 的正規化以及Lasso 的變數挑選

參考資料

• https://www.youtube.com/playlist?list=PLJV_el3uVTsPy9oCRY30oBPNLCo89yu49
• https://reurl.cc/GKbZl3 (Elastic圖片來源)