iT邦幫忙

第 11 屆 iThome 鐵人賽

DAY 9
0
Google Developers Machine Learning

我是高中生,我學ML和NLP系列 第 9

【Day 09】RNN學習筆記II Part I

  • 分享至 

  • twitterImage
  •  

第二部課程影片:https://www.youtube.com/watch?v=rTqmWlnwz_0&t=581s

Learn Target

當我們要訓練機器時,需要有Training Data才能夠訓練,但當這些資料是句子時,除了原本的句子外,還需要對應到每個單字的比對資料。

https://ithelp.ithome.com.tw/upload/images/20190922/20103852e0hC2T6CHu.png

一樣以原影片的範例說明:

訓練資料:"arrive Taipei on November 2nd"
標記資料:"other dest other time time"

而輸出會得到一個array,這個array會紀錄當前單字的種類如dest, time, other等...

假如要輸出dest,這個array會變成[0, 0, ..., 1(dest), ..., 0]
time的話也是如此:[0, 0, ..., 1(time), ..., 0]
other是當他不能被歸類到之前的資料時丟進去的地方:[0, 0, ..., 1(other)]

而Training的方法是使用梯度下降法(Gradient descent),但為了訓練得更容易於是針對RNN設計的演算法:"Backpropagation Through Time(BPTT)"。雖然影片中並沒有講解BPTT詳細的內容,如果日後有辦法的話我會盡量生出來qq

https://ithelp.ithome.com.tw/upload/images/20190922/20103852OTAJaAn5an.png

但儘管如此,RNN是一個很難訓練的神經網路。


上一篇
【Day 08】RNN學習筆記 Part IV
下一篇
【Day 10】RNN學習筆記II Part II
系列文
我是高中生,我學ML和NLP20
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言