Day 28 : 隨機模型 -- 線性回歸

第 11 屆 iThome 鐵人賽

DAY 28

AI & Data

連接數學與現實世界的橋樑 -- 數學建模系列第 28 篇

11th鐵人賽回歸分析

spidyjames

2019-09-29 23:59:47

1080 瀏覽

分享至

線性回歸是使用最普遍的隨機模型，它假設狀態變數的期望值是時間的線性函數。根據維基百科的定義，利用線性回歸方程式的最小平方函數對一個或多個自變數和應變數之間關係進行建模的一種回歸分析。

範例

私人家庭可調節的抵押貸款率通常是根據若干市場指數之一來確定的。貸款者的抵押貸款是依據每年5月的一年期公債(CM1)到期的指數來調節，下表是從1986年6月開始的三年期的歷史資料，請使用這些資料來預測1990年5月此指數的估計值。

提出問題
我們想要估計隨機波動且隨時間而增長的變量其未來的趨勢，故令 $X_t$ 為1986年5月後第 $t$ 月一年期公債到期的指數。根據需求為估計 $X_48$ ，如果假設 $X_t$ 部分依賴於隨機元素，則無法精確的預測 $X_48$ 。因此，最好是得到 $E(X_48)$
選擇建模方法
此例使用線性回歸模型， $X_t = a + bt + \varepsilon_t$ ，其中 $a, b$ 為實常數， $\varepsilon_t$ 是隨機波動隨機變量，服從標準常態分配( $E(\varepsilon_t) = 0, Var(\varepsilon_t) = 1$ )
因此，估計 $E(X_t) = a + bt$ 問題就轉換成求解估計參數 $a, b$ 的問題。
推導數學表達式
根據CM1數據資料， $(t_1, y_1), \dots, (t_n, y_n)$ ，找出使得擬合這些資料點的直線，且變異程度最小的參數 $a, b$ 。變異程度以， $F(a, b) = \sum_{i=1}^{n} (y_i - (a + bt_i))^2$ 表示。
對上式做偏微分， $https://chart.googleapis.com/chart?cht=tx&chl=%5Cfrac%7B%5Cpartial%20F%7D%7B%5Cpartial%20a%7D$ 和 $https://chart.googleapis.com/chart?cht=tx&chl=%5Cfrac%7B%5Cpartial%20F%7D%7B%5Cpartial%20b%7D$ ，並令其為0，可得
$\sum_{i=1}^{n} y_i = na + b \sum_{i=1}^{n} t_i$
$\sum_{i=1}^{n} t_i y_i = a \sum_{i=1}^{n} t_i + b \sum_{i=1}^{n} t_i^{2}$
解得 $a, b$ ，帶回函數 $\hat{y}_i = a + bt_i$ ，最後代入狀態變數 $(t_i)$ 便可計算出預測值
最後，計算全部變化中由回歸線解釋的部分 $https://chart.googleapis.com/chart?cht=tx&chl=R%5E%7B2%7D%20%3D%20%5Cfrac%7B%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%20(%5Chat%7By%7D_i%20-%20%5Cbar%7By%7D)%5E2%7D%7B%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%20(y_i%20-%20%5Cbar%7By%7D)%5E2%7D$
求解模型
將表中的CM1數據，
$(t_1, y_1) = (1, 6.73)$
$(t_2, y_2) = (2, 6.27)$
$\dots$
$(t_37, y_37) = (37, 8.44)$ 代入方程組求出 $a, b$ ，得
$y = 5.45 + 0.097t$ ; $R^2 = 83%$
將 $t = 48$ 代入
$\Rightarrow E(X_48) = 5.45 + 0.097 * 48 = 10.1$
表達分析結果
此回歸方程式說明了，1990年5月的CM1估計值為10.1，且解釋量高達83%，意即此估計值有很高的信心水準。
透過此模型所擬合出來的結果如下圖