概念和作用
a時間步：time step，不同時刻（把輸入展開，每個輸入是不同時間步上的）
b循環：下一個時間步上，輸入不就有當時間步的輸入，還有上一個時間步的輸出
cRNN：具有短期記憶的網絡結構，把之前輸出作為下一個時間步的輸入

RNN的類型
a one-to-one（圖像分類）
b one-to-many（圖像转文字）
c many-to-one（文本分類）
d 異步的many-to-many（文本翻譯）

LSTM
a long short-term memory LSTM
b c保存的就是記憶，細胞狀態
其修改可以通過sigmoid和t-1點實現
c 遺忘門：通過sigmoid決定信息是否被遺忘
d 輸入們：決定哪些信息會被輸入
sigmoid：決定輸入信息佔多少比重
tanh：決定輸入什麼
e 輸出門：
輸出當前時刻的結果和hidden_state
hidden_state=t-1
f 輸入和輸出
輸入：hidden_state，x_t,c_t-1
輸出：H_t，C_t

GRU
a 兩個門：更新門和輸出門
b 輸入輸出
兩個輸出：hidden_state,hidden_state
兩個輸入：X_t，hidden_state_t-1