今天要跟大家解釋之前看到的activate是怎麼回事，以下等式的左側是一個全連接的4個神經元連接到3個神經元的權重，每個權重代表一條上層神經元連接到下層神經元的連接線，輸入一個4個元素的樣本，等式右側的結果將作為下層的輸入，但是在輸入給下層前會經過激勵函數的處理，為大家介紹幾個常見的激勵函數。

1. linear
   如字面所見的簡單，什麼進去就什麼出來。
   
2. sigmoid：
   剛才的例子經過此函數後，會變成 。
   
3. tanh
   剛才的例子經過此函數後，會變成 。
   
4. relu
   此函數特性在0以上時，與linear相同，0或0以下時會被clip到0，由於此函數在計算上的方便，與真正神經元在生物學上的特性相似，避免梯度消失，歸0關閉部分神經元減少了過擬合的問題，現在大多都使用此函數或其改進型。
   剛才的例子經過此函數後，會變成 。
   
5. softmax：
   前面所提到的函數只考慮1個元素，此函數會考慮所有元素，轉換出來的結果為元素的指數與所有元素指數和的比值，其和正好等於1，符合我們對0~9出現機率的要求，很常被用來作為多分類模型最後輸出層使用的激勵函數。
   剛才的例子經過此函數後，會變成 。

具體內容詳見Tensorflow文檔介紹。