技術 【Day 12】機器學習的訓練過程 - Part 4. 區域極小值與鞍點

零、前言 在上一篇中，我們透過實際計算 Loss Function 並執行梯度下降法時，發現設定學習率會直接影響到機器訓練時的表現，對此我們可以透過更改學習率進...

技術 [Day23] Learning Rate Warm Up

前言 本日將介紹另一個Learning Rate的技巧，也就是Warmup，並整合到Lightning-module當中。 什麼是Warmup? Warmup的...

技術 [Day19] learning Rate and scheduler

前言 接續上一篇討論的Optimizer與Learning Rate，今天來討論關於Learning Rate以及其Scheduler的挑選。 Learning...

技術 [Day18] Optimizer and Learning Rate

前言 經過前面的文章，目前在單一個Step的訓練節點內，能做的優化其實已經做的差不多了。接下來大概就是訓練次數以及一些超參數的調整。讓我們先回到一組很基礎但又很...

技術 [Day 19] 還是學不會，再縮小一點 ~ (學習率衰減)

前言 走過了資料分析、演算法選擇後，我們得知了有些可以改善模型的方向: 解決資料不平衡(Done) 學習率的設定(Now) 訓練輪數(To do) 模型深度(...