iT邦幫忙

第 11 屆 iT 邦幫忙鐵人賽

DAY 13
0

選擇完模型後,
接下來要進行「超參數調整」,
但是其實對模型的提升有限。

何謂超參數

  • LASSO、Ridge:α 的⼤小
  • 決策樹:樹的深度、節點最小樣本數
  • 隨機森林:樹的數量

以上都是模型的「超參數」,
調整超參數會直接影響模型的訓練結果,
可以先用預設值,再慢慢調整。

調整方法

  • 窮舉法 (Grid Search)
    直接指定超參數的組合範圍,每一組參數都訓練完成,再根據驗證集的結果選擇最佳參數。

  • 隨機搜尋 (Random Search)
    指定超參數的範圍,⽤均勻分布進⾏參數抽樣,⽤抽到的參數進⾏訓練,再根據驗證集的結果選擇最佳參數。

調整步驟

參考文章Scanning hyperspace: how to tune machine learning models

  1. 先將資料切分為訓練/測試集,測試集保留不使用
  2. 將剛切分好的訓練集,再使⽤Cross-validation 切分 K 份訓練/ 驗證集
  3. ⽤grid/random search 的超參數 進⾏訓練與評估
  4. 選出最佳的參數,⽤該參數與全部訓練集建模
  5. 最後使⽤測試集評估結果

真正重要的還是先前的EDA和特徵工程,
超參數調整只能微幅下降loss,
所以不要花太多時間在此。


以上,打完收工。


上一篇
[Day23] 模型選擇-梯度提升機
下一篇
[Day25] 模型選擇-集成方法
系列文
Machine Learning Day3026

尚未有邦友留言

立即登入留言