類神經網路期中一個特點就是他可以去描述非線性的關係,可以輸入是線性的連續資料,輸出非線性的連續資料,因此應用的層面非常的廣泛,實現的方式也非常的簡單,就是把輸出的成果後面加入一個非線性函數來使其成果非線性。
圖片來自:維基百科
那一個f就是激活函數,可以協助每個神經元變成一個非線性的方程式。
常使用的激活函數包含:
Sigmoid、Hyperbolic tangent﹑Rectifier linear unit(ReLU)函數,圖形如下圖:
其中特別介紹ReLU,如果分類不希望出現負值,這一函數可以協助將負的數值刪除,目前很多神經網路或機器學習都是使用這個激活函數。
圖片來自:這裡
參考資料: