在前幾天的內容中,我們講完了一般RNN以及改良後的LSTM運作原理以及實作了,各位讀者是不是對於運作方式以及如何使用有更近一步的了解了呢?
今天我們要來介紹更加進化的另一種RNN模型—GRU(Gated Recurrent Unit),LSTM雖然改善了一般RNN長期記憶的問題,但是缺點就是執行的速度比較慢,而今天要介紹的GRU就改善了這個問題,GRU不但加快了執行速度還減少了記憶體的使用,接下來我們就來看看GRU做了哪些改良吧!
GRU與LSTM最大的不同就是GRU將LSTM中的forget gate(遺忘閥)以及input gate(輸入閥)合併成一個新的閥—update gate(更新閥)。Update gate合併了先前forget gate以及input gate兩階段的運算(以sigmoid激勵函式運算前一階段記憶以及現在時段輸入),變成只需要運算一次就能像forget gate輸出遺忘資料以及再次套用tanh激勵函式去做原先input gate的運算。
簡單來說GRU就是減化了LSTM的運算步驟,讓GRU能夠達到比LSTM運算時間更短、記憶體使用更少,最終獲得更好的結果。