iT邦幫忙

2023 iThome 鐵人賽

DAY 8
0

前幾天的迴歸模型中,我們希望找到一個函數能最好的表達因變數與自變數之間的關係,而尋找這個函數的方法就是定義損失函數(loss function)或稱成本函數(cost function)

損失函數/成本函數

  • 基本上就是用來計算預測結果與實際結果的誤差,後尋找誤差最小的函數
  • 在迴歸問題中,均方差是很常見的損失函數 (c是常數)
    https://ithelp.ithome.com.tw/upload/images/20230923/20163280NheE1n4TJG.png

它計算的是預測值和實際值之間的誤差的平方平均值

隨機梯度下降

  • 一種用來找一組能使損失函數最小的參數的優化算法
  • 從一個隨機的點開始,計算損失函數在當前點的梯度,沿著梯度的反方向更新參數
  • 根據上述模式進行迭代計算

SGDregressor

  1. 建構回歸模型,代入損失函數
    https://ithelp.ithome.com.tw/upload/images/20230923/20163280A9NV0Z1hfJ.png

  2. 對模型進行隨機梯度下降(不斷調整參數),使誤差最小 (損失函數值最小)

    速度可以透過調整learning rate決定
    https://ithelp.ithome.com.tw/upload/images/20230923/201632806qqXgYQl1D.png

  3. 每一筆資料更新一次參數

參考資料


上一篇
Day7-邏輯回歸 (Logistic Regression)
下一篇
Day9-決策樹 (Decision Trees)
系列文
什麼演算法?一起來學機器學習!30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言