2025 iThome 鐵人賽
分享至
ReLU函數在x < 0時導入數值恆為0,也可能造成梯度彌散現象,為克服這個問題,LeakyReLU函數被提出。
ELU包含了ReLU的所有優點,不會有Dead ReLU問題,輸出的均值接近0。
IT邦幫忙