LSTM循環神經網路是一種改良一般循環神經網路的時間循環神經網路.它的出現便是為了解決循環神經網路中,難以保持長期記憶的這個問題.Google公司也利用LSTM循環神經網路來進行Google翻譯的開發,Apple、微軟以及Amazon也利用LSTM循環神經網路來進行自家產品的開發,而LSTM循環神經網路結合卷積神經網路(CNN)改進了圖像自動標註.

LSTM循環神經網路(LSTM RNN)

下圖為一個簡單的LSTM循環神經網路的架構：

LSTM循環神經網路並不是指它能夠將循環神經網路運算過程中所以的資料都記起來,而是它透過特殊機制中的閥(gate)去決定輸入是否重要到需要被記住及要不要被輸出.

LSTM主要由四個單元構成：

1. 輸入閥(Input Gate):當進行資料輸入時,可以決定是否將此次的資料輸入.
2. 記憶元件(Memory Cell):將計算出的數值儲存下來,以利下一個元件進行使用.
3. 輸出閥(Output Gate):控制是否將此次運算出的值輸出,若無輸出則為0.
4. 遺忘閥(Forget Gate):控制是否將記憶清除.

參考資料：

• https://mofanpy.com/tutorials/machine-learning/torch/intro-LSTM
• https://brohrer.mcknote.com/zh-Hant/how_machine_learning_works/how_rnns_lstm_work.html
• https://ithelp.ithome.com.tw/articles/10223055
• https://zh.wikipedia.org/zh-tw/%E9%95%B7%E7%9F%AD%E6%9C%9F%E8%A8%98%E6%86%B6
• https://www.youtube.com/watch?v=xCGidAeyS4M