iT邦幫忙

learning rate相關文章
共有 5 則文章
鐵人賽 AI & Data DAY 19

技術 [Day 19] 還是學不會,再縮小一點 ~ (學習率衰減)

前言 走過了資料分析、演算法選擇後,我們得知了有些可以改善模型的方向: 解決資料不平衡(Done) 學習率的設定(Now) 訓練輪數(To do) 模型深度(...

鐵人賽 AI & Data DAY 23
PyTorch 生態鏈實戰運用 系列 第 23

技術 [Day23] Learning Rate Warm Up

前言 本日將介紹另一個Learning Rate的技巧,也就是Warmup,並整合到Lightning-module當中。 什麼是Warmup? Warmup的...

鐵人賽 AI & Data DAY 18
PyTorch 生態鏈實戰運用 系列 第 18

技術 [Day18] Optimizer and Learning Rate

前言 經過前面的文章,目前在單一個Step的訓練節點內,能做的優化其實已經做的差不多了。接下來大概就是訓練次數以及一些超參數的調整。讓我們先回到一組很基礎但又很...

鐵人賽 AI & Data DAY 19
PyTorch 生態鏈實戰運用 系列 第 19

技術 [Day19] learning Rate and scheduler

前言 接續上一篇討論的Optimizer與Learning Rate,今天來討論關於Learning Rate以及其Scheduler的挑選。 Learning...

鐵人賽 AI & Data

技術 【Day 12】機器學習的訓練過程 - Part 4. 區域極小值與鞍點

零、前言 在上一篇中,我們透過實際計算 Loss Function 並執行梯度下降法時,發現設定學習率會直接影響到機器訓練時的表現,對此我們可以透過更改學習率進...