今日大綱

• 什麼是線性迴歸?
• 線性迴歸假設
• 線性迴歸公式
• Loss function

什麼是線性迴歸?

線性迴歸是一種統計方法，其利用線性方程式解釋獨立變數(Independent variable, usually denoted x)與依變數(Dependent variable, usually denoted Y)的關係。如果獨立變數只有一個，其稱之為簡單迴歸(Simple regression)，當獨立變數為兩個以上時，稱之為複迴歸(Multiple regression)。
線性迴歸又稱最小平方法(Ordinary least square, OLS)，其目標為最小化預測值與實際值平方和的總和。

線性迴歸假設

1. 線性關係
   獨立變數與依變數之間需存在線性關係，不能具有共線性(collinearity)。
2. 常態性
   資料須遵循常態分佈(normal distribution)，當資料為常態分佈時，誤差項也會遵循常態分佈。
3. 獨立性
   獨立變數的誤差項應互相獨立，否則在估計迴歸參數時會降低統計的檢定力。
4. 變異數同質性
   變異數如果不相等會導致獨立變數無法有效估計依變數。

線性迴歸公式

1. 簡單迴歸 (Simple regression)
   

假設身高為x獨立變數，體重為y依變數，畫出下圖，能夠以最小化誤差為目標，獲得一條直線，這個線性方程式為最佳解，如果係數為0.2，代表每增加身高一公分，體重就會增加0.2公斤。

2. 複迴歸 (Multiple regression)
   

Loss function

1. Mean absolute error 平均絕對誤差
   
2. Mean squared error 均方誤差
   
3. Root mean squared error 均方根誤差
   

感謝您今天的瀏覽，明天將會使用Python實際操作線性迴歸，我們明天見!