iT邦幫忙

2022 iThome 鐵人賽
DAY 16
0
AI & Data

【30天之新手學習筆記】PyTorch系列 第 16 篇

Day 16 - 優化器(Optimizer)的介紹

14th鐵人賽
855 瀏覽

  • 分享至 

  • xImage
    •  

今天我主要想要深入的了解一下,在深度學習的領域中究竟優化器扮演著什麼樣的角色,並且去知道它的原理以及有哪些種類,那麼接下來我就簡單的介紹一下什麼是優化器.優化器主要用在深度學習反向傳播的過程,指引損失函式中的各個參數往合適的大小去更新,使得更新後的參數讓損失函式的值逼近最小值.

優化器原理

使用梯度下降進行優化,幾乎是所有優化器的核心概念.我們這裡以下山為例,分析出兩個我們所注重的事:

  • 決定前進的方向是否正確(優化方向),在優化器中反映為梯度或動量
  • 決定每一步要走多遠(步長),在優化器中反映為學學習率

優化器的種類

  1. 隨機梯度下降法(SGD)
    https://ithelp.ithome.com.tw/upload/images/20221002/20152671nJ8T8RQsJU.png
  2. 動量更新法(Momentum)
    https://ithelp.ithome.com.tw/upload/images/20221002/20152671tCZaeK5Dea.png
  3. AdaGrad更新法
    https://ithelp.ithome.com.tw/upload/images/20221002/20152671sjtQDH2Fjv.png
  4. RMSProp更新法
    https://ithelp.ithome.com.tw/upload/images/20221002/20152671dDP5hgtvWX.png
  5. Adam更新法
    https://ithelp.ithome.com.tw/upload/images/20221002/201526713Jx7A4Tszo.png

參考資料:


上一篇
Day 15 - 感知器(Perceptron)介紹與實作
下一篇
Day 17 - 優化器的實作
系列文
【30天之新手學習筆記】PyTorch 共 30 篇
  1. 26
    Day 26 - LSTM循環神經網路的實作
  2. 27
    Day 27 - 自動編碼器(AutoEncoder)的介紹
  3. 28
    Day 28 - 自動編碼器的實作
  4. 29
    Day 29 - 生成對抗網路(GAN)的介紹
  5. 30
    Day 30 - 完賽總結
完整目錄
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言
iThome鐵人賽
參賽組數
1064 組
團體組數
40 組
累計文章數
22081 篇
完賽人數
594 人
iT+看影片追技術 看影片追技術 看更多
熱門tag 看更多
15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽 鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js
熱門問題
熱門回答
熱門文章
IT邦幫忙