前言

正所謂

知錯能改，善莫大焉。就像是這次被甩左邊的耳光會痛，下次可以試試看右邊
-----阿峻2019

NN model 在計算的過程中，把Predict及果跟Ground truth相比較就可以得到 Loss，接著我們就可以利用這個 Loss 的資訊去更新我們網路，就像是我們考完試之後對完答案之後，就知道哪些答案是錯的，那些漏洞我們需要去補強。而NN 也是，於是乎在接來我們就要介紹 NN 進步的原動力--Backpropagation

Backpropagation

要解釋 Backpropagation 需要解釋以下幾個部分。

Chain Rule

Forward Pass

Loss Compute

Gradient Decent

Backward Pass

Weight Update

這個 Part主要是來介紹 Model 中的哪些部分是需要更新的以及如何更新

結語

這一章我們提了了一個 Model 是如何利用 Loss 資訊去增進自己 Model 的表現，以及 weight 的更新，下一章我們就要開始使用 Pytorch 去實作一個能動的CNN Model 去做一個簡單的 Classification Task

參考資訊

1. http://violin-tao.blogspot.com/2017/07/ml-backpropagation.html
2. https://www.brilliantcode.net/1381/backpropagation-2-forward-pass-backward-pass/
3. https://skymind.ai/wiki/backpropagation
4. https://iphone3310.wordpress.com/2016/04/01/noteneural-network%E7%9A%84%E4%B8%80%E4%BA%9B%E5%9F%BA%E6%9C%AC%E6%A6%82%E5%BF%B52%EF%BC%9Aback-propagation%E6%8E%A8%E5%B0%8E/
5. https://kknews.cc/zh-tw/tech/e8lpkq.html
6. http://neuralnetworksanddeeplearning.com/chap2.html