iT邦幫忙

2023 iThome 鐵人賽

DAY 10
0
AI & Data

深入探索AI模型系列 第 10

【Day 10】 GRU(Gated Recurrent Unit)

  • 分享至 

  • xImage
  •  

在前幾天的內容中,我們講完了一般RNN以及改良後的LSTM運作原理以及實作了,各位讀者是不是對於運作方式以及如何使用有更近一步的了解了呢?

今天我們要來介紹更加進化的另一種RNN模型—GRU(Gated Recurrent Unit),LSTM雖然改善了一般RNN長期記憶的問題,但是缺點就是執行的速度比較慢,而今天要介紹的GRU就改善了這個問題,GRU不但加快了執行速度還減少了記憶體的使用,接下來我們就來看看GRU做了哪些改良吧!

GRU與LSTM最大的不同就是GRU將LSTM中的forget gate(遺忘閥)以及input gate(輸入閥)合併成一個新的閥—update gate(更新閥)。Update gate合併了先前forget gate以及input gate兩階段的運算(以sigmoid激勵函式運算前一階段記憶以及現在時段輸入),變成只需要運算一次就能像forget gate輸出遺忘資料以及再次套用tanh激勵函式去做原先input gate的運算。

https://ithelp.ithome.com.tw/upload/images/20230816/20150784OzOnEib5Ib.png

簡單來說GRU就是減化了LSTM的運算步驟,讓GRU能夠達到比LSTM運算時間更短、記憶體使用更少,最終獲得更好的結果。


上一篇
【Day 09】 LSTM實作
下一篇
【Day 11】 GRU實作
系列文
深入探索AI模型30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言