iT邦幫忙

2019 iT 邦幫忙鐵人賽

DAY 10
0

我們前面探討了不同的資料型態可以對應不同的迴歸模型。

不覺得每個迴歸模型都有那麼點相似的地方嗎?

線性迴歸:

https://chart.googleapis.com/chart?cht=tx&chl=%5Cmathbb%7BE%7D%5By%5D%20%3D%20%5Cmu%20%3D%20%5Cmathbf%7Bw%7D%5ET%5Cmathbf%7Bx%7D%20%2B%20b

羅吉斯迴歸:

https://chart.googleapis.com/chart?cht=tx&chl=ln(%5Cfrac%7B%5Cmathbb%7BE%7D%5By%5D%7D%7B1%20-%20%5Cmathbb%7BE%7D%5By%5D%7D)%20%3D%20ln(%5Cfrac%7Bp%7D%7B1%20-%20p%7D)%20%3D%20%5Cmathbf%7Bw%7D%5ET%5Cmathbf%7Bx%7D%20%2B%20b

Poisson 迴歸:

https://chart.googleapis.com/chart?cht=tx&chl=ln(%5Cmathbb%7BE%7D%5By%5D)%20%3D%20ln(%5Clambda)%20%3D%20%5Cmathbf%7Bw%7D%5ET%5Cmathbf%7Bx%7D%20%2B%20b

在右手邊的部份都是一樣的,是一樣的線性組合加上一個常數。

差別在於預測出來的數值是怎麼連結到目標變量的平均值上 https://chart.googleapis.com/chart?cht=tx&chl=%5Cmathbb%7BE%7D%5By%5D

是的,我們在預測的都是目標變量的平均值。

鏈結函數(link function)

要連結目標變量的平均值 https://chart.googleapis.com/chart?cht=tx&chl=%5Cmathbb%7BE%7D%5By%5D 跟線性組合加上一個常數.....,姑且叫他 https://chart.googleapis.com/chart?cht=tx&chl=%5Ceta 好了。

https://chart.googleapis.com/chart?cht=tx&chl=%5Cmathbb%7BE%7D%5By%5D%20%5Cleftrightarrow%20%5Ceta

統計學家發展出使用鏈結函數來連結這兩者,所以不同的資料型態會對應不同的鏈結函數。

線性迴歸使用 identity function https://chart.googleapis.com/chart?cht=tx&chl=y%20%3D%20x

https://chart.googleapis.com/chart?cht=tx&chl=%5Cmathbb%7BE%7D%5By%5D%20%3D%20%5Ceta

羅吉斯迴歸使用 logit function https://chart.googleapis.com/chart?cht=tx&chl=y%20%3D%20ln(%5Cfrac%7Bx%7D%7B1%20-%20x%7D)

https://chart.googleapis.com/chart?cht=tx&chl=ln(%5Cfrac%7B%5Cmathbb%7BE%7D%5By%5D%7D%7B1%20-%20%5Cmathbb%7BE%7D%5By%5D%7D)%20%3D%20%5Ceta

Poisson 迴歸使用 log function https://chart.googleapis.com/chart?cht=tx&chl=y%20%3D%20ln(x)

https://chart.googleapis.com/chart?cht=tx&chl=ln(%5Cmathbb%7BE%7D%5By%5D)%20%3D%20%5Ceta

廣義線性模型(generalized linear model)

這麼一來我們就可以把三個模型搓一搓做成 撒尿牛丸 廣義線性模型啦!

https://chart.googleapis.com/chart?cht=tx&chl=y%20%5Coverset%7Bf%7D%7B%5Clongleftrightarrow%7D%20%5Cmathbb%7BE%7D%5By%5D%20%5Cleftrightarrow%20%5Ceta%20%3D%20%5Cmathbf%7Bw%7D%5ET%5Cmathbf%7Bx%7D%20%2B%20b

對應不同的目標變量,我們就有了萬用的模型,就像物理的大一統理論一樣。

廣義線性模型其實包含了三個部份:

  1. 鏈結函數
  2. 線性預測子
  3. 指數族

線性預測子(linear predictor)

統計學家特別給了一個線性預測子這樣的名字。

https://chart.googleapis.com/chart?cht=tx&chl=%5Ceta%20%3D%20%5Cmathbf%7Bw%7D%5ET%5Cmathbf%7Bx%7D%20%2B%20b

這代表要從預測變量 https://chart.googleapis.com/chart?cht=tx&chl=%5Cmathbf%7Bx%7D 去預測我們的目標變量,其中 https://chart.googleapis.com/chart?cht=tx&chl=%5Cmathbf%7Bx%7D 的變數之間都是 互相獨立 的。

互相獨立的變數之間,要以 線性組合 來預測我們的目標變量。

指數族(exponential family)

可是每一種資料的機率分佈都可以接上廣義線性模型嗎?答案是否定的。

https://chart.googleapis.com/chart?cht=tx&chl=y%20%5Coverset%7Bf%7D%7B%5Clongleftrightarrow%7D%20%5Cmathbb%7BE%7D%5By%5D

統計學家研究了一下這個模型,發現只有符合指數族的條件才能夠用。

指數族長成這樣:

https://chart.googleapis.com/chart?cht=tx&chl=f(%5Cmathbf%7By%7D%20%5Cmid%20%5Cmathbf%7B%5Ctheta%7D)%20%3D%20%5Cfrac%7B1%7D%7BZ(%5Cmathbf%7B%5Ctheta%7D)%7D%20h(%5Cmathbf%7By%7D)%20exp(%5Cmathbf%7B%5Ctheta%7D%5ET%20%5Cphi(%5Cmathbf%7By%7D))

\mathbf{\theta} 是機率分佈的期望值,或是稱為 natural parameter。

https://chart.googleapis.com/chart?cht=tx&chl=%5Cphi(%5Cmathbf%7By%7D) 是 sufficient statisitcs,這邊有非常多有趣的東西,不過也有點理論。

https://chart.googleapis.com/chart?cht=tx&chl=Z(%5Cmathbf%7B%5Ctheta%7D) 稱為 partition function,是機率分佈的分母,常常會在不同的領域見到他,像是物理。

https://chart.googleapis.com/chart?cht=tx&chl=h(%5Cmathbf%7By%7D) 就是個縮放因子,沒什麼重要性,常常是 1。

我知道大家可能會有很多疑問,但是礙於篇幅,我就不再繼續介紹下去了,這邊下去又是統計所一門課了。


上一篇
10 從線性迴歸到 Poisson 迴歸
下一篇
12 從線性模型到神經網路
系列文
機器學習模型圖書館:從傳統模型到深度學習31

尚未有邦友留言

立即登入留言