iT邦幫忙

第 11 屆 iThome 鐵人賽

DAY 10
0
AI & Data

從零開始或許曾經想過但想想還是算了的深度雜技系列 第 10

[DAY 10] CNN的反向傳播 : Backpropagation

  • 分享至 

  • xImage
  •  

前言


正所謂

知錯能改,善莫大焉。就像是這次被甩左邊的耳光會痛,下次可以試試看右邊
-----阿峻20190926

NN model 在計算的過程中,把Predict及果跟Ground truth相比較就可以得到 Loss,接著我們就可以利用這個 Loss 的資訊去更新我們網路,就像是我們考完試之後對完答案之後,就知道哪些答案是錯的,那些漏洞我們需要去補強。而NN 也是,於是乎在接來我們就要介紹 NN 進步的原動力--Backpropagation

Backpropagation

由於時間因素,我先記錄所需要講述的點,之後有空再來補完:

Chain Rule

Forward Pass

Loss Compute

Gradient Decent

Backward Pass

Weight Update

這個 Part主要是來介紹 Model 中的哪些部分是需要更新的以及如何更新

結語

這一章我們介紹了一個 Model 是如何利用 Loss 資訊去增進自己 Model 的表現,以及 weight 的更新,下一章我們就要開始使用 Pytorch 去實作一個能動的CNN Model 去做一個簡單的 Classification Task

參考資訊

  1. http://violin-tao.blogspot.com/2017/07/ml-backpropagation.html
  2. https://www.brilliantcode.net/1381/backpropagation-2-forward-pass-backward-pass/
  3. https://skymind.ai/wiki/backpropagation
  4. https://iphone3310.wordpress.com/2016/04/01/noteneural-network%E7%9A%84%E4%B8%80%E4%BA%9B%E5%9F%BA%E6%9C%AC%E6%A6%82%E5%BF%B52%EF%BC%9Aback-propagation%E6%8E%A8%E5%B0%8E/
  5. https://kknews.cc/zh-tw/tech/e8lpkq.html
  6. http://neuralnetworksanddeeplearning.com/chap2.html

上一篇
[DAY 09] CNN的前行之末 : Fully Connected Layer & Loss function
下一篇
[DAY 11] 當風扇開始轉的那一刻 : CNN的實現
系列文
從零開始或許曾經想過但想想還是算了的深度雜技30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言