說起線性回歸，這是我在學機器學習時碰到的第一個演算法，今天先簡單介紹線性回歸，明天會討論L1、L2正規化

Regression

在講線性回歸之前，先講講回歸是個什麼樣的概念吧!

• 回歸模型是由自變數(independent variable)和依變數(dependent variable)之間的關係建出來的模型

  • 自變數(independent variable): 不被其他變數影響，只會去影響別人
  • 依變數(dependent variable): 被其他變數影響的

• 可大致分為以下兩類

  • 簡單線性回歸(Simple linear regression)
  • 多變數回歸(multiple regression)

簡單線性回歸(Simple linear regression)

• 只有兩個變數(自變數與依變數)
• 簡單線性回歸: y=β0+β1x
  • β0：截距
  • β1：斜率
    
• (xi, yi), i=1~n，將每一組資料都帶到回歸公式內
• ŷi =β0+β1xi，i=1~n
• ŷi :為預估值，和真實資料會有誤差(error)
• 誤差計算:yi-ŷi
• 希望找到的模型最終的誤差越小越好

多變數回歸(multiple regression)

• 有多個自變數(其他基本跟簡單線性回歸差不多)
• y=β0+β1x1i+β2x2i+......+βnxni (假設有n個自變數)
• y = Xβ

參考資料

• https://chih-sheng-huang821.medium.com/%E7%B7%9A%E6%80%A7%E5%9B%9E%E6%AD%B8-linear-regression-3a271a7453e
• https://www.youtube.com/playlist?list=PLJV_el3uVTsPy9oCRY30oBPNLCo89yu49