激勵函數通常為非線性的，主要作用為模仿神經傳導的運作，也就是定義神經元如何根據其他神經元來改變自己的激勵值，也因為是非線性的，所以加入激勵函數可以讓神經網路處理比較複雜的非線性問題，以下會介紹兩種比較長使用的激勵函數。
當接收到神經元刺激小於臨界值，會忽略此刺激：當x<-5 ,輸出接近0。
當接收到神經元刺激大於臨界值，開始接收神經刺激：當x大於-5且 x小於5 時，隨著x上升輸出也跟著上升。
當接收到的神經元刺激達到一定程度，會開始鈍化：當x>5時，即便x上升更多，輸出也會趨近於1。
當接收到神經元刺激小於臨界值，會忽略此刺激：當x小於0,輸出為0。
當接收到神經元刺激大於臨界值，開始接收神經刺激：當x>0時，隨著x上升輸出也會跟著上升。
維基百科：https://zh.wikipedia.org/wiki/线性整流函数
維基百科： https://en.wikipedia.org/wiki/Sigmoid_function
維基百科：https://zh.wikipedia.org/wiki/人工神经网络
iThome鐵人賽
看影片追技術