iT邦幫忙

第 11 屆 iT 邦幫忙鐵人賽

DAY 19
0
AI & Data

學習PHP Machine Learning的冒險歷程系列 第 19

[2020鐵人賽Day19]邂逅PHP Machine Learning-類神經網路(NN)-學習率

前言

學習率( Learning Rate)算是NN的一個超參數之一,他控制了優化器更新權重的速度,如果學習率越小,學習速度越慢,但是可以減少錯過局部最佳解的機會;學習率越大越收斂速度越快,但是可能會導致錯過局部最佳解。那學習率如何控制權重呢?

學習率的特性

主要是以控制優化器改變的比例來更新權重,如果學習率太大就可能導致梯度爆炸,讓loss突破天際。
note:Loss為一個損失函數評估出來的成果,與真實輸出的數值做比較的差距,越小越好,但是可能不為0(如果損失函數的最小數值不是0的情況)

https://ithelp.ithome.com.tw/upload/images/20191005/20091333BAFRvMz1Nr.png
圖片來源:https://kknews.cc/zh-tw/code/936ylkj.html

優化器

說道學習率,也不能不提的是優化器(Optimizer),簡單來說就是一個演算法可以讓NN的判斷越來越接近我們的目標,每次學習都會提供一個梯度來使模型更接近答案。


圖片來源: https://blog.csdn.net/HAIYUANBOY/article/details/89845646

參考資料
[1] https://kknews.cc/zh-tw/code/936ylkj.html


上一篇
[2020鐵人賽Day18]邂逅PHP Machine Learning-類神經網路(NN)-激活函數
下一篇
[2020鐵人賽Day20]邂逅PHP Machine Learning-類神經網路(NN)-鳶尾花分類
系列文
學習PHP Machine Learning的冒險歷程30

尚未有邦友留言

立即登入留言