iT邦幫忙

gradient descent相關文章
共有 22 則文章

技術 梯度下降法(10) -- 總結

TensorFlow官網首頁的範例只有短短的10多行,但是每一行指令及參數都內含許多玄機,雖然我們在前面已回答及實驗許多核心問題,但還是有一些疑問待探討,以下就...

技術 梯度下降法(9) -- 損失函數

個人認為,損失函數是神經網路最重要的核心,當我們定義好一個損失函數,梯度下降法就會想辦法最小化損失函數,求得最佳解,例如第五篇的聯立方程式,定義每個方程式的損失...

技術 梯度下降法(8) -- Activation Function

Activation Function是將線性迴歸轉換為非線性函數,使神經網路更具通用性(Generalization),類似Kernel PCA及Kernel...

技術 梯度下降法(7) -- 優化器(Optimizer)

上篇探討學習率的調整,接著討論優化器對模型訓練的影響。 優化器(Optimizer) 優化(Optimization)是以最小化損失函數為目標,尋找模型參數的最...

技術 梯度下降法(6) -- 動態調整學習率

魔鬼藏在細節裡,要讓模型訓練更快速、更準確,必須進一步掌握模型的超參數(Hyperparameters)設定,包括如何動態調整學習率、選用各種優化器、損失函數、...

技術 徹底理解神經網路的核心 -- 梯度下降法的應用 (5)

前四篇介紹梯度下降法,對神經網路求解,這次再舉幾個例子,幫助我們更靈活的應用梯度下降法,包括: 以自動微分實作手寫阿拉伯數字辨識,結合TensorFlow/K...

技術 徹底理解神經網路的核心 -- 梯度下降法 (4)

上一篇自行開發梯度下降法找到最佳解,這次我們使用TensorFlow低階API進行自動微分(Automatic Differentiation),並實作多元線性...

技術 徹底理解神經網路的核心 -- 梯度下降法 (3)

前兩篇梯度下降法的求解都隱藏在一行程式碼 model.fit 中,這次使用自行開發實作梯度下降法,以瞭解內部求解的邏輯。 梯度下降法的作法 梯度下降法是利用正向...

技術 徹底理解神經網路的核心 -- 梯度下降法 (2)

上一篇介紹神經網路的基本概念,這次透過簡單的範例理解梯度下降法的運作。 最簡單的神經網路 範例. 以神經網路建構攝氏與華氏溫度轉換的模型,我們收集7筆資料如下:...

技術 徹底理解神經網路的核心 -- 梯度下降法 (1)

神經網路(Neural Network)是深度學習的基石,不管是大語言模型(ChatGPT)或生成式AI(MidJourney、Stable Diffusion...

鐵人賽 AI & Data DAY 19

技術 【Day 19】神經網路簡介與梯度下降法

今日大綱 神經網路簡介 梯度下降法 (Gradient descent) 激活函數 (Activation function) 程式碼 神經網路簡介 下圖為...

鐵人賽 AI & Data DAY 18
PyTorch 生態鏈實戰運用 系列 第 18

技術 [Day18] Optimizer and Learning Rate

前言 經過前面的文章,目前在單一個Step的訓練節點內,能做的優化其實已經做的差不多了。接下來大概就是訓練次數以及一些超參數的調整。讓我們先回到一組很基礎但又很...

技術 課堂筆記 - 深度學習 Deep Learning (19)

Gradient Descent Method 統整一下到底要如何Gradient Descent去計算Logistic Regression:首先我們...

技術 課堂筆記 - 深度學習 Deep Learning (11)

Gradient Descent – one weight with Bias 上篇的說明當 b=0 時該如何校正w的, 其實基本上大同小異,都是用相同...

技術 課堂筆記 - 深度學習 Deep Learning (10)

在上一篇Error Function中,可以看到依照w的不同決定了線的偏差值多寡,此篇要介紹的是當隨便取了一個值w之後該如何對w進行校正。 Gradient...

鐵人賽 AI & Data DAY 10

技術 Gradient Descent

今天來聊聊在ML裏面一天到晚聽到的gradient descent!Gradient descent是用來解決Optimization問題的常見算法,也因為只是...

鐵人賽 自我挑戰組 DAY 12
機器學習入門 系列 第 12

技術 ML_Day12(SGD, AdaGrad, Momentum, RMSProp, Adam Optimizer)

簡單回顧在ML_Day10(Gradient Descent)有介紹什麼是SGD,就是只對一個example的loss做計算,求梯度最小值。也介紹什麼是Ada...

鐵人賽 自我挑戰組 DAY 10
機器學習入門 系列 第 10

技術 ML_Day10(Gradient Descent)

簡單回顧在ML_Day5(Linear Regression Introduction)有介紹什麼是Gradient Descent,就是對loss func...

鐵人賽 自我挑戰組 DAY 5
機器學習入門 系列 第 5

技術 ML_Day5(Linear Regression Introduction)

簡單回顧在ML_Day2(機器學習種類)有提Regression與classificatoin的差異。所謂的線性迴歸(Linear Regression),簡...

鐵人賽 AI & Data DAY 18
當自動駕駛遇見AI 系列 第 18

技術 Day18-當自動駕駛遇見AI- 梯度下降法(Gradient Descent Algorithm)

前言 梯度下降法(Gradient Descent Algorithm)是一個一階最佳化算法,通常也稱為最速下降法。 要使用梯度下降法找到一個函數的局部極小值,...

鐵人賽 自我挑戰組 DAY 17
Machine Learning 學習筆記 系列 第 17

技術 [第十七天] Gradient descent

參考網站1李宏毅教授視頻對Gradient descent也有詳盡解說真心推薦這一系列 看完了李教授大神的視頻後,理解Gradient descent是如何找...

鐵人賽 AI & Machine Learning DAY 4

技術 [Day4] 梯度下降法(Gradient Descent)

梯度下降 昨天我們提到,令我們的函數為: 則誤差為:其中 x 為輸入,y 為輸出。我們想要將誤差最小化,因此可以透過微分來求算。 首先,我們先來回想一下微分的定...