今天要介紹三個,訓練過程中所使用的東西,第一個是優化器Optimizer,他決定了實現梯度下降所使用的策略,有的策略比較穩健,有的比較大膽,通常會對優化器手動設定的參數是學習率learning_rate,這個參數決定了走下山的步伐大小,太小的值收斂很慢,需要花很久才能走到山谷,太大的值有可能會發散,讓我們跳得太遠,彈出山谷,Adam、SGD等是常用的選擇。
損失函數loss是我們用來評價模型與樣本擬合度的一個指標,不同的損失函數塑造出來的地形Error Surface是不一樣的,會導致我們走到不同的低點,在多分類問題當中經常使用的是categorical_crossentropy,你也有可能聽到諸如代價函數Cost function之類的名稱。
評價函數metrics讓我們衡量模型的表現如何,這裡使用的accuracy是一個簡單的指標。
明天我們會看看有什麼進一步提升模型性能的方法,並實做看看有什麼區別。