Hi ! Day23 !
今天要介紹的是最佳化 -- 梯度下降法
梯度下降法(gradient descent,GD)是最佳化算法裡的一種一階找最佳解的方法。使用梯度下降法主要是希望找到一個函數的局部極小值,由於梯度的方向是走向局部最大,所以在梯度下降法中須向反方向的規定步長距離點進行疊代搜索。
隨機梯度下降法(Stochastic gradient descent, SGD)
https://iter01.com/582253.html
https://zh.wikipedia.org/zh-tw/梯度下降法
https://chih-sheng-huang821.medium.com/機器學習-基礎數學-二-梯度下降法-gradient-descent-406e1fd001f