iT邦幫忙

1

課堂筆記 - 深度學習 Deep Learning (10)

  • 分享至 

  • xImage
  •  

在上一篇Error Function中,可以看到依照w的不同決定了線的偏差值多寡,
此篇要介紹的是當隨便取了一個值w之後該如何對w進行校正。

  • Gradient Descent

https://ithelp.ithome.com.tw/upload/images/20211026/20142783Ci7E9IZT6Q.png

圖中是上一篇的Error Function點圖,目標是E(w)要越趨近於0,也就是要求最低點。
所以可以透過微分去看點在線上的斜率來去調整。
https://ithelp.ithome.com.tw/upload/images/20211026/201427837iS6fhcVct.png

η負責調整梯度下降的幅度,避免一次下降/上升太多 也稱為learning rate

  1. 斜率 > 0 時,會知道點在我們所需的最小偏差值的邊,因此校正為:
    https://ithelp.ithome.com.tw/upload/images/20211026/20142783Z8ElvnUzLm.png

  2. 斜率 < 0 時,會知道點在我們所需的最小偏差值的邊,因此校正為:
    https://ithelp.ithome.com.tw/upload/images/20211026/201427837c1VoCx1Aw.png

由上可知公式:
https://ithelp.ithome.com.tw/upload/images/20211026/201427836yBZnjnsZ5.png


圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言