iT邦幫忙

第 11 屆 iT 邦幫忙鐵人賽

DAY 27
0
AI & Data

Python零基礎到Kaggle 系列 第 27

Python零基礎到kaggle-Day26

今日目標

CNN,RNN,LSTM,GRU初步理解
注意:請搭配每日課程觀看以達到最好效果
Faster.ai

看完文章您將學到什麼

CNN,RNN,LSTM,GRU

內文

Slide1

CNN

可以把時間維度想成一維捲積

RNN

可以在每步時間用遞歸公式執行序列向量

https://ithelp.ithome.com.tw/upload/images/20190928/20114906P4lvIrQF2v.png

LSTM

RNN越前面的資訊對於後面的決策影響越小,當所經過的時序越多,前面的資訊影響幾乎趨近於零,所以要LSTM

1.更多參數
2.使用門減輕梯度消失問題

GRU

LSTM簡易版本,但多了一個 memory cell,能使用,更新,遺忘長期記憶
GRU 單元又分成兩個版本:

一閘門:更新閘門

控制在後續的序列輸入中,是否要更新 memory cell 所記憶的內容

兩閘門:更新門Update Gate,重置門Reset Gate

https://ithelp.ithome.com.tw/upload/images/20190928/201149066M2zy8n1TV.png

實際操作

遞歸網路,使用RELu
RNN門
LSTM練習

RNN練習
RNN分類
Word2vec,使用Pytorch 初探詞嵌入
注意力機制
NLP小專案

反思回顧

RNN,CV,NLP,這三個名詞我們在Day28Day29會再詳細介紹

參考資料

http://colah.github.io/posts/2015-08-Understanding-LSTMs/
https://www.jiqizhixin.com/articles/2017-12-24
https://people.xiph.org/~jm/opus/opus-1.3/?fbclid=IwAR25aTO8I7qmJH186_hddIfwGE2dyHLgxBabWRejllP_yJGTaWdOChhhbHY


上一篇
Python零基礎到kaggle-Day25
下一篇
Python零基礎到kaggle-Day27
系列文
Python零基礎到Kaggle 31

尚未有邦友留言

立即登入留言