介紹完機器學習預測時間序列，接著連續幾篇要進入到深度學習的範疇。

我們會提到在時間序列預測的命題上，深度學習和機器學習的不同、優化的邏輯，
並且整理有哪些神經網絡常用於時間序列預測，從比較單純的模型架構，到結合不同類型神經網絡的方法。

今日大綱

• 時間序列預測：深度學習 v.s. 機器學習
• 常用於序列訓練的神經網絡
• 多神經網絡的組合

時間序列預測：深度學習 v.s. 機器學習

最大的差別在於，深度學習神經網絡能夠捕捉序列特徵，機器學習則只能以聚合特徵或生成其他時間特徵，來代表一段時間序列中的資訊。

做法差異

• 機器學習
  將一段時間序列的特徵聚合或取統計指標計算（例如自迴歸特徵、差分特徵等），再建模做監督式學習迴歸預測

• 神經網絡
  保留原始時間序列的顆粒度，針對原始序列結構設計神經網絡輸入層架構，後續再根據模型表現優化、調整模型架構、超參數，例如加入 Dropout Layer、接上不同特性的神經網絡等

常用於序列訓練的神經網絡

最能夠利用序列特性的神經網絡架構，非遞歸神經網絡莫屬；且序列數據不僅限於時間序列，如語音、文本等。
遞歸神經網絡的概念是，透過記住前面出現的特征推斷結果，並且網絡結構不斷循環。

遞歸神經網絡家族有幾個經典款：（包含 RNN 的變形）

• RNN（Recurrent Neural Network，遞歸神經網絡本人）
• LSTM（Long Short-Term Memory，長短期記憶模型）
  • 因應 RNN 會有梯度消失問題，無法在長時間序列上有好的記憶性表現，因此通過 3 種閘門（Gate）控制，結合短期記憶與長期記憶，分別是 input gate, forget gate, output gate
• GRU（Gated Recurrent Unit）
  • 2014 年根據 LSTM 架構再改良，將 forget gate 和 output gate 整合成一個 "update gate"
  • 成效和 LSTM 相近，但因為減少一個 gate，所以參數比 LSTM 少，因此也減少了運算量、加快訓練速度

＊那 Transformer 適用於時間序列預測嗎？

Self-Attention 機制、預訓練模型在語言序列上的良好表現，如出現 BERT 這樣的高適用度模型；那 Transformer 的表現有比 LSTM/GRU 來得好嗎？

Transformer 的 Encoder-Decoder 框架雖然有 position embedding 來捕捉位置順序資訊，但 LSTM/GRU 這種遞歸捕捉時序關係的特性，Transformer 不一定能夠替代得了；因此在大宗相關論壇也都討論到，在數據量大、或能夠使用 pre-train model 的情況下（例如眾多 NLP 任務，像是文本分類、情感分析、問答、語意推論、文本生成等），使用 Transformer 架構表現是更好的，但遇到具有更明顯時序關係（例如季節性循環等）的資料時， LSTM/GRU 還是有不可取代的地位。

不同的 LSTM 架構

• Vanilla LSTM
  單一層 LSTM
• Stacked LSTM
  疊兩層以上的 LSTM，要將第一層的參數 return_sequence 設為 True
• Bidirectional LSTM
  使序列同時以順向和反向輸入模型。例如：學習上下文語意（這個在預測時間序列的未來時間點，稍微比較難

多神經網絡的組合

• Timedistributed CNN+LSTM
  基本概念是取兩種模型的優勢加在一起：
  • CNN：擅長對各個時間序列截面進行特徵萃取
  • LSTM：學習不同時間點的相關性
• Convolutional LSTM
  將 CNN 的 Convolution 應用至 LSTM，常用於影像序列（多張圖片或影片）資料（有點超出時間序列範疇，不過目的是希望將 LSTM 相關的模型架構組合可以列得完整一點）

本篇【以深度學習進行時間序列預測：概論】就到這邊，下一篇我們會從 RNN、LSTM 開始介紹，然後一篇一篇帶到上面列出的模型。