Activation function之群雄亂舞

今天要來繼續介紹Activation function。那麼廢話不多說，就直接開始吧!

Activation function的圖片皆取自Activation Functions

Sigmoid (適用於二進制分類、多標籤分類)

Sigmoid的輸出介於0~1。因為具有所有Activation function的出色特性，所以易於使用。
具有非線性、連續可微分、單調，並具有固定的輸出範圍。

優點

• 是非線性的。
• 梯度較為平穩。
• 對分類來說是好用的。
• 與線性函數的-inf~inf相比，Sigmoid輸出介於0~1，因此不管怎麼樣的輸入，都不會造成blow up。

缺點

• 當輸入的絕對值很大時，輸入的輸出的影響會非常小。
• 具有梯度消失的問題。
• 輸出不是以0為中心的，因此會使梯度更新在不同方向走太多，使優化困難。
• 網路停止學習或速度很慢。

Tanh

輸出到-1~1之間。是非線性的，以0為中心點。

優點

• 比Sigmoid的梯度更強。

缺點

• 梯度消失的問題。

Softmax (適用於多類分類)

Softmax函數會計算每個事件的機率分布。假設我們要辨識手寫數字 0~9，輸入一張數字的影像後，經由 Softmax 回歸，最後將會輸出該影像屬於 0 ~ 9 個別的機率為何，且其個別的機率總和為 1。

擷取自softmax wiki

優點

• 適用於多分類
• 機率總合為1

缺點

• Softmax並不要求分類的緊湊和類別間的特徵分離，這一點非常不適合人臉識別任務。

結論

今天看了其他常用的Activation function，而這些的特點為:

• Sigmoid:二進制分類好用。
• Tanh:以0為中心，比Sigmoid的梯度更強。
• Softmax:多分類好用。

參考資料

Activation Functions
softmax wiki
[深度概念]·Softmax優缺點解析