iT邦幫忙

0

課堂筆記 - 深度學習 Deep Learning (11)

  • Gradient Descent – one weight with Bias

上篇的說明當 b=0 時該如何校正w的, 其實基本上大同小異,都是用相同的方式去校正w

當 b!=0 的時候公式會多個b在算距離的時候先做加減:
https://ithelp.ithome.com.tw/upload/images/20211026/20142783FJTpnJbL9G.png

一樣對E(w,b)作偏微分,只需要注意不要微錯就好:
https://ithelp.ithome.com.tw/upload/images/20211026/20142783JuRlxHoQYk.png

梯度訓練公式:
https://ithelp.ithome.com.tw/upload/images/20211026/20142783OF3YKqTFut.png

  • Gradient Descent – more weight with Bias

多個屬性的梯度下降跟單個屬性差不多,雖然看起來突然複雜了一點,過程跟流程都跟上面的步驟一致。

假設有M個屬性:
一樣對E(w1,w2,w3,...wM,b)作偏微分:
https://ithelp.ithome.com.tw/upload/images/20211026/20142783eW9gHufdDj.png

多屬性的訓練公式:
https://ithelp.ithome.com.tw/upload/images/20211026/201427839TKoRsbesh.png

  • Gradient Descent Algorithm的補充

同時被稱為:

  • Delta rule
  • ADALINE rule
  • Widrow-Hoff rule

在回歸問題時可擁有無限輸出量的值,在分類問題時可以輸出有限的值。
Regression: with numeric output label(s) >> an infinite number of values
Classification: with nominal output label(s) >> a finite number of values


尚未有邦友留言

立即登入留言