技術 【Day 19】神經網路簡介與梯度下降法

今日大綱 神經網路簡介 梯度下降法 (Gradient descent) 激活函數 (Activation function) 程式碼 神經網路簡介 下圖為...

技術 [Day18] Optimizer and Learning Rate

前言 經過前面的文章，目前在單一個Step的訓練節點內，能做的優化其實已經做的差不多了。接下來大概就是訓練次數以及一些超參數的調整。讓我們先回到一組很基礎但又很...

技術 課堂筆記 - 深度學習 Deep Learning (19)

Gradient Descent Method 統整一下到底要如何Gradient Descent去計算Logistic Regression：首先我們...

技術 課堂筆記 - 深度學習 Deep Learning (11)

Gradient Descent – one weight with Bias 上篇的說明當 b=0 時該如何校正w的, 其實基本上大同小異，都是用相同...

技術 課堂筆記 - 深度學習 Deep Learning (10)

在上一篇Error Function中，可以看到依照w的不同決定了線的偏差值多寡，此篇要介紹的是當隨便取了一個值w之後該如何對w進行校正。 Gradient...

技術 Gradient Descent

今天來聊聊在ML裏面一天到晚聽到的gradient descent!Gradient descent是用來解決Optimization問題的常見算法，也因為只是...

技術 ML_Day12(SGD, AdaGrad, Momentum, RMSProp, Adam Optimizer)

簡單回顧在ML_Day10(Gradient Descent)有介紹什麼是SGD，就是只對一個example的loss做計算，求梯度最小值。也介紹什麼是Ada...

技術 ML_Day10(Gradient Descent)

簡單回顧在ML_Day5(Linear Regression Introduction)有介紹什麼是Gradient Descent，就是對loss func...

技術 ML_Day5(Linear Regression Introduction)

簡單回顧在ML_Day2(機器學習種類)有提Regression與classificatoin的差異。所謂的線性迴歸（Linear Regression），簡...

技術 Day18-當自動駕駛遇見AI- 梯度下降法(Gradient Descent Algorithm)

前言 梯度下降法（Gradient Descent Algorithm）是一個一階最佳化算法，通常也稱為最速下降法。 要使用梯度下降法找到一個函數的局部極小值，...

技術 [第十七天] Gradient descent

參考網站1李宏毅教授視頻對Gradient descent也有詳盡解說真心推薦這一系列 看完了李教授大神的視頻後，理解Gradient descent是如何找...

技術 [Day4] 梯度下降法（Gradient Descent）

梯度下降 昨天我們提到，令我們的函數為： 則誤差為：其中 x 為輸入，y 為輸出。我們想要將誤差最小化，因此可以透過微分來求算。 首先，我們先來回想一下微分的定...