iT邦幫忙

第 11 屆 iThome 鐵人賽

DAY 19
0
Google Developers Machine Learning

我是高中生,我學ML和NLP系列 第 19

【Day 19】Transformer學習筆記 Part I

  • 分享至 

  • xImage
  •  

課程影片:https://www.youtube.com/watch?v=vWvAF8OMUs8&feature=youtu.be


Transformer

https://ithelp.ithome.com.tw/upload/images/20191002/20103852XhRJT7wx2G.png

先簡單說明RNN的大致流程,以下是兩層的RNN模型:

RNN的缺點是必須要將前面的東西算完後再算後面的東西,因此平行化非常困難。且RNN並沒有將每個資料平等來看,而是一個輸入是一個Input,之前所有東西是另外一個Input,導致無法看到每一個資訊。

https://ithelp.ithome.com.tw/upload/images/20191002/201038524R1keHfmpr.png

Convolution Neural Network(CNN)的好處是容易平行計算,當FFNN要計算時,可以將下面的Convolution的權重平等計算,如果要一次接收很多資訊,可以將層數疊多一點,或是在一層讀多一點資訊。

https://ithelp.ithome.com.tw/upload/images/20191002/20103852IZWyXwGyvY.png

https://ithelp.ithome.com.tw/upload/images/20191002/201038523VNQoAQpRa.png


上一篇
【Day 18】RNN學習筆記II Part VIII
下一篇
【Day 20】Transformer學習筆記 Part II
系列文
我是高中生,我學ML和NLP20
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言