今日大綱 SGD (Stochastic gradient descent) Momentum Adagrad( Adaptive gradient-base...
動量 Momentum 動量的核心概念就是依據現實生活中物理上的慣性去更新參數,參數更新公式: 當前參數更新時除了梯度,還會考慮前一步的梯度 ( 移動方向 )...
前言 在機器學習和深度學習中,優化器就是個能夠優化模型的工具,用梯度下降法幫我們調整模型參數以最小化 ( 優化 ) 模型的損失函數,在訓練過程中,模型根據輸入數...