iT邦幫忙

第 11 屆 iT 邦幫忙鐵人賽

DAY 19
0

正如我們針對回歸問題所述,您要優化的損耗度量通常是均方誤差,MSE或RMSE,均方根誤差。
均方誤差告訴我們回歸線與它的點集的接近程度。它通過將這些距離從點到實際回歸線來實現。
這些距離稱為誤差,然後將它們平方。平方是必要的,以消除任何負面的跡象。
而MSE也更加重視那些線路上的差異。取MSE的平方根給出了RMSE,它簡單地說就是沿著垂直線測量的擬合線的數據點的平均距離。
RMSE可以根據Y軸上的測量單位直接解釋。因此,它比相關係數更好地衡量擬合優度。
對於兩個誤差測量,較低的值表示性能較好的模型,並且誤差越接近零越好。
使用線性回歸模型,它簡單地繪製最適合的線以最小化誤差。我們的最終RMSE是2.224。
讓我們說我們的問題,這是非常好的。
如果您使用更複雜的模型怎麼辦?更複雜的模型可以有更多的自由參數。在這種情況下,這些自由參數讓我們可以捕獲該數據集中的每一個單一波形。雖然我們將RMSE一直降低到零,但現在模型非常準確。我們完了嗎?這是最好的型號嗎?我們可以生產這個嗎?
們和你可能會覺得第二個型號有些可疑。在ML中,我們經常有很多數據,沒有這樣的直覺。具有8個節點的神經網絡比具有12個節點的神經網絡更好嗎?對於具有16個節點的一個,我們具有較低的RMSE。應該選擇那個嗎?
您看到的示例可能是百位數的多項式或具有數百個節點的神經網絡。正如您在螺旋示例中所看到的,在上一次關於優化的講座結束時,更複雜的模型具有更多可以優化的參數。
雖然這可以幫助適應更複雜的數據,如螺旋,但它也可以幫助它記住更簡單,更小的數據集。
那麼,我們在什麼時候對模型說,停止訓練你記住數據集並可能過度擬合?現在,評估模型質量的最佳方法之一是查看它如何與之前從未見過的新數據集表現良好。然後我們可以確定該模型是否在新數據點之間得到了很好的推廣。
那麼回顧一下線性回歸模型和神經網絡模型,看看他們現在的表現如何。我們對這些新數據點的線性回歸模型進行了很好的推廣。 RMSE與我們之前看到的相當,在這種情況下,沒有驚喜是一件好事。
我們希望在整個培訓和驗證模型中保持一致的性能。因此,回顧第二模型,我們可以看到它在新的訓練數據集上根本沒有很好地概括,這真的令人擔憂。 RMSE從0跳到3.2,這是一個巨大的問題,並且表明該模型完全過度擬合了它提供的訓練數據集,並且證明太脆弱或不能推廣到新數據。現在,你可能會問,我怎樣才能確保我的模型不適合過度?我怎麼知道何時停止訓練?答案非常簡單,我們將分割您的數據。
現在,通過將原始數據集劃分為完全分離和隔離的組,您可以迭代地訓練模型並在訓練數據集上進行訓練,然後在完成訓練後,將其性能與獨立的孤立驗證數據集進行比較。並且通用性良好的模型在訓練和驗證中將具有類似的損失度量或誤差值。一旦你開始看到你的模型對你的驗證數據集表現不佳,比如你的損失指標開始增加或爬升,就該停止了。


上一篇
[Day 18] Raw Data to Features
系列文
Machine Learning Study 30天學習筆記19

尚未有邦友留言

立即登入留言