老師,一般作模型的過程中,感覺訓練資料的誤差都會比 validation or testing data error 小,不知道個 sine wave 做出來的...
我覺得 adam 是 rmsprop 與 momentum 的組合、如果從參數去看,也能看到 rmsprop 的 alpha 影子。