技術 【Day 13】優化器 Optimizer ( 二 )

動量 Momentum 動量的核心概念就是依據現實生活中物理上的慣性去更新參數，參數更新公式： 當前參數更新時除了梯度，還會考慮前一步的梯度 ( 移動方向 )...

技術 【Day 12】優化器 Optimizer ( 一 )

前言 在機器學習和深度學習中，優化器就是個能夠優化模型的工具，用梯度下降法幫我們調整模型參數以最小化 ( 優化 ) 模型的損失函數，在訓練過程中，模型根據輸入數...

技術 【Day 22】Keras的優化器 Optimizer

今日大綱 SGD (Stochastic gradient descent) Momentum Adagrad( Adaptive gradient-base...