ReLU的微分怎麼做

反向傳播 backpropagation relu 微分深度學習

white850611 2021-01-25 16:45:50 ‧ 2844 瀏覽

各位前輩們好：
我在做反向傳播的計算，模型為AlexNet，使用的激勵函數為ReLU，在做計算時需要計算ReLU對0的微分，上網查了資料，有些資料說：對0的微分可直接視為0，對非0數的微分即為1，請問這個說法正確嗎？

謝謝大家的幫忙！

黃彥儒 iT邦高手 1 級 ‧ 2021-01-25 19:44:44 檢舉

建議研究AI還是要有大學程度的基礎微積分觀念較佳

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

小碼農米爾

iT邦高手 1 級 ‧ 2021-01-25 18:54:10

最佳解答

是這樣沒錯!!

ReLU 函數:

對 ReLU 微分:

white850611 iT邦新手 5 級 ‧ 2021-01-25 23:18:31 檢舉

謝謝您用心地回覆，很感謝您的幫忙！

立即登入回答