LSTM（ Long Short-Term Memory ）

是 RNN 的變種，是用來解決梯度消失的問題，也能夠將長序列資料處理的更好
LSTMs 的核心概念是使用閘門來調控記憶，來改善長期記憶

長期依賴問題

• 在時間序列資料，事件或資訊對未來輸出有關鍵影響，當間隔變長，RNN 就難以處理
• RNN 只能記住最近的資訊，而對於長時間序列的資訊的處理就會變得困難，會因此受到梯度消失或爆炸的問題
  

( RNN 短)

圖源: Understanding LSTM Networks -- colah's blog

( RNN 長)
圖源: Understanding LSTM Networks -- colah's blog

而LSTM 利用遺忘閘和輸入閘成功解決了長期依賴問題

LSTMs 包含多個相互連接的單元，每個單元有四個核心組件：

1. 記憶單元（ Memory Cell ）
   • 記憶單元是 LSTM 的核心，用於長期記憶
   • 它的內部狀態是一個向量，可被更新和讀取
     
     
     圖源: Understanding LSTM Networks -- colah's blog
2. 遺忘閘（ Forget Gate ）
   • 由 sigmoid 層組成，控制遺忘或保留記憶
   • 值接近 1 表示保留，接近 0 表示遺忘
     
     圖源: Understanding LSTM Networks -- colah's blog
3. 輸入閘（ Input Gate ）
   • 控制要添加到記憶單元的資訊
   • 包含 sigmoid 層和 tanh 層，用於計算要更新的資訊
     
     圖源: Understanding LSTM Networks -- colah's blog
4. 更新主要單元（ Update Cell State ）
   • 使用遺忘閘的輸出決定遺忘哪些資訊
   • 添加輸入閘的輸出（ C ～ t ）來更新主要單元狀態（ Ct ）
     
     圖源: Understanding LSTM Networks -- colah's blog
5. 輸出閘（ Output Gate ）
   • 決定記憶單元內部狀態的哪些部分應該被輸出
   • 包含 sigmoid 層和 tanh 層，並將輸出乘以 0 到 1 之間的值，生成LSTM的輸出
     
     圖源: Understanding LSTM Networks -- colah's blog

參考資料

https://colah.github.io/posts/2015-08-Understanding-LSTMs/