iT邦幫忙

0

ReLU的微分怎麼做

各位前輩們好:
我在做反向傳播的計算,模型為AlexNet,使用的激勵函數為ReLU,在做計算時需要計算ReLU對0的微分,上網查了資料,有些資料說:對0的微分可直接視為0,對非0數的微分即為1,請問這個說法正確嗎?

謝謝大家的幫忙!

黃彥儒 iT邦高手 1 級 ‧ 2021-01-25 19:44:44 檢舉
建議研究AI還是要有大學程度的基礎微積分觀念較佳

1 個回答

1
最佳解答

是這樣沒錯!!

ReLU 函數:

  • 如果輸入 x 小於等於零,則輸出 0。
    y = 0
  • 如果輸入 x 大於零,則輸出等於輸入。
    y = x

對 ReLU 微分:

  • 如果輸入 x 小於等於零,則輸出 0。
  • 如果輸入 x 大於零,則輸出 1。
    (y = x 微分後等於 y = 1)

謝謝您用心地回覆,很感謝您的幫忙!

我要發表回答

立即登入回答