處理overfitting的時候:把train data 分析的太細了,訓練過頭了,這個可以通過earyly stop來解決(通過validation來stop的方法,在n次train之後處理);
還有一種方法是在每次訓練都處理的方法,那就是drop out:
train data中有很多noise點,而train的時候,有些weight只是爲了處理這些點的,那麽這些weight是不應該被算在内的,爲了扔掉這種不具參考價值的weight,dropout 的做法是:
每次隨機扔掉一些weigths,那麽那些脆弱的weights就會被扔掉,但是那些强壯的weights就會留下來;