CNN,RNN,LSTM,GRU初步理解
注意:請搭配每日課程觀看以達到最好效果
Faster.ai
CNN,RNN,LSTM,GRU
可以把時間維度想成一維捲積
RNN越前面的資訊對於後面的決策影響越小,當所經過的時序越多,前面的資訊影響幾乎趨近於零,所以要LSTM
1.更多參數
2.使用門減輕梯度消失問題
LSTM簡易版本,但多了一個 memory cell,能使用,更新,遺忘長期記憶
GRU 單元又分成兩個版本:
控制在後續的序列輸入中,是否要更新 memory cell 所記憶的內容
RNN練習
RNN分類
Word2vec,使用Pytorch 初探詞嵌入
注意力機制
NLP小專案
RNN,CV,NLP,這三個名詞我們在Day28跟Day29會再詳細介紹
http://colah.github.io/posts/2015-08-Understanding-LSTMs/
https://www.jiqizhixin.com/articles/2017-12-24
https://people.xiph.org/~jm/opus/opus-1.3/?fbclid=IwAR25aTO8I7qmJH186_hddIfwGE2dyHLgxBabWRejllP_yJGTaWdOChhhbHY