iT邦幫忙

2019 iT 邦幫忙鐵人賽

DAY 11
0

我們把線性模型們都大統一了。

https://chart.googleapis.com/chart?cht=tx&chl=y%20%5Coverset%7Bf%7D%7B%5Clongleftrightarrow%7D%20%5Cmathbb%7BE%7D%5By%5D%20%5Cleftrightarrow%20%5Ceta%20%3D%20%5Cmathbf%7Bw%7D%5ET%5Cmathbf%7Bx%7D%20%2B%20b

接下來就要進入到令人興奮的神經網路模型了!

首先,我們先來介紹著名的感知器...嗯...前面不是介紹過了?

喔喔!對喔!他長這個樣子:

https://chart.googleapis.com/chart?cht=tx&chl=y%20%3D%20%5Csigma(%5Cmathbf%7Bw%7D%5ET%5Cmathbf%7Bx%7D%20%2B%20b)

其中 https://chart.googleapis.com/chart?cht=tx&chl=%5Cmathbf%7Bw%7D%5ET%5Cmathbf%7Bx%7D%20%2B%20b 是我們熟悉的線性模型,然後 https://chart.googleapis.com/chart?cht=tx&chl=%5Csigma 就是所謂的 activation function。

不覺得這看起來跟上面的很相似嗎?

我們動點手腳:

https://chart.googleapis.com/chart?cht=tx&chl=%5Csigma%5E%7B-1%7D(y)%20%3D%20%5Cmathbf%7Bw%7D%5ET%5Cmathbf%7Bx%7D%20%2B%20b

是的!發現了嗎?其實 https://chart.googleapis.com/chart?cht=tx&chl=%5Csigma%5E%7B-1%7D 就是在廣義線性模型裡的鏈結函數阿!他會是 activation function 的反函數!

這樣是不是又了結了一樁心事了呢?

堆疊

在神經網路當中,我們會把一個一個神經元並排起來,數學上看起來就是把預測單一個 y 擴張成多個維度:

https://chart.googleapis.com/chart?cht=tx&chl=%5Cmathbf%7By%7D%20%3D%20%5Csigma(W%5ET%5Cmathbf%7Bx%7D%20%2B%20%5Cmathbf%7Bb%7D)

所以在權重 W 的部份也隨之從一個向量擴張成一個矩陣,b 的部份也是,可以自己驗算看看。

但是預測多維向量並不是讓模型強大的地方,讓模型強大是因為把很多個這樣的模型頭尾接起來。

https://chart.googleapis.com/chart?cht=tx&chl=%5Cmathbf%7Bx%7D%20%5Crightarrow%20%5Cmathbf%7Bh%7D%5E%7B(1)%7D%20%5Crightarrow%20%5Cdots%20%5Crightarrow%20%5Cmathbf%7Bh%7D%5E%7B(k)%7D%20%5Crightarrow%20%5Cmathbf%7By%7D

當中的這些函數們就是我們說的層。

https://chart.googleapis.com/chart?cht=tx&chl=%5Cmathbf%7Bh%7D%5E%7B(k)%7D%20%3D%20f(%5Cmathbf%7Bh%7D%5E%7B(k-1)%7D)%20%3D%20%5Csigma(W%5ET%5Cmathbf%7Bh%7D%5E%7B(k-1)%7D%20%2B%20%5Cmathbf%7Bb%7D)

神經網路模型之所以強大的原因是因為將模型頭尾相接,並不是因為他是模擬生物系統,只是靈感是從生物系統上得來的而已。

搭配上 activation function 的非線性轉換,就可以模擬很多非線性的現象。

model link function activation function
linear regression identity function: https://chart.googleapis.com/chart?cht=tx&chl=y%20%3D%20x identity function: https://chart.googleapis.com/chart?cht=tx&chl=y%20%3D%20x
logistic regression logit function: https://chart.googleapis.com/chart?cht=tx&chl=y%20%3D%20%5Cfrac%7Bx%7D%7B1-x%7D sigmoid function: https://chart.googleapis.com/chart?cht=tx&chl=y%20%3D%20%5Cfrac%7B1%7D%7B1%20%2B%20e%5E%7B-x%7D%7D
Poisson regression log function: https://chart.googleapis.com/chart?cht=tx&chl=y%20%3D%20ln(x) exponential function: https://chart.googleapis.com/chart?cht=tx&chl=y%20%3D%20exp(x)

礙於 IThome 對 markdown 與 latex 的支援問題,取得較佳觀看體驗請到 我的部落格 觀賞。


上一篇
11 廣義線性模型
下一篇
13 Kernel SVM 與 RBF network
系列文
機器學習模型圖書館:從傳統模型到深度學習31

尚未有邦友留言

立即登入留言