iT邦幫忙

第 11 屆 iThome 鐵人賽

DAY 8
0
Google Developers Machine Learning

我是高中生,我學ML和NLP系列 第 8

【Day 08】RNN學習筆記 Part IV

  • 分享至 

  • xImage
  •  

https://ithelp.ithome.com.tw/upload/images/20190921/201038526uvdvZEeDT.png

在一個的Network中會有很多的神經元,當Input進去後經過這些神經元會得到最後的Output。而LSTM則是將普通的神經元換成每個LSTM cell,雖然Input一樣,但我會每個輸入對每個cell的gate乘上不同的權重得到參數,讓每個cell可以參考更多東西得到Output。

https://ithelp.ithome.com.tw/upload/images/20190921/20103852NVeuQjHa6k.png

其實LSTM和正常的Neural Network都只會有同樣數目input,只是LSTM會將input通過一些權重,得到另外三個參數輸入到三個gate中而已。

每個LSTM中都有一個memory cell,每一層都會有很多LSTM,而這些Cell就會變成vector,input Xt會分別變成給每個input用的vector: Zf, Zi, Zo, Z,在運算時依照下圖的程序就可以算出這一層所有的Output。

https://ithelp.ithome.com.tw/upload/images/20190921/201038522nV8umysYf.png

但這只是最簡單的LSTM,在實作時還會將上一個輸出接到下一個的輸入,當過下一個時間點的標記;還有peephole,可以將上一次操作的memory在我要input前先看它的值等。現在我們在實作時我們也不會只使用一層LSTM,當疊了很多層時就被稱為Multiple-layer。


上一篇
【Day 07】RNN學習筆記 Part III
下一篇
【Day 09】RNN學習筆記II Part I
系列文
我是高中生,我學ML和NLP20
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言