iT邦幫忙

2023 iThome 鐵人賽

DAY 10
0
AI & Data

30天深度學習-從零到英雄系列 第 10

四大常見激活函數

  • 分享至 

  • xImage
  •  

神經元的激活函數是神經網絡中一個重要的組件,激活函數引入非線性(non-linear)性質,使神經網絡能夠學習複雜的函數。以下是一些常見的激活函數:

  1. Sigmoid 函數
    Sigmoid 函數,它將輸入映射到 0 到 1 之間的範圍,通常用於處理二元分類問題。然而,Sigmoid 函數存在一個問題,當輸入非常大或非常小時,梯度(即對輸出的調整程度)變得極小,幾乎等於零。這導致神經元幾乎不對輸入產生反應,我們稱之為神經元飽和。
    簡單來說,當神經元飽和時,它就像處於一種麻木狀態,對於輸入的微小變化幾乎不做出任何反應。

  2. Tanh 函數:(雙曲正切函數)
    Tanh 函數將輸入映射到範圍在 -1 到 1 之間,跟Sigmoid 函數很像,但具有中心化特性,對於零中心的數據更適合(均值為零的數據)。

  3. ReLU 函數 (Rectified Linear Unit)
    ReLU 函數將負數輸入變為零,而正數輸入保持不變。它是目前最常用的激活函數之一,因為它訓練速度較快。

  4. Softmax 函數
    Softmax 函數通常用於多類分類問題,將多個輸入映射為一個概率分佈,其中每個元素表示某一類的概率。

這些激活函數在不同的情況下有不同的應用,如何選擇激活函數將取決於神經網絡結構和問題類型。在深度學習中,通常會使用多層神經元,每一層可以使用不同的激活函數,以提高模型的性能。


上一篇
神經元的基本運作方式
下一篇
密集神經網路
系列文
30天深度學習-從零到英雄30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言