iT邦幫忙

第 11 屆 iT 邦幫忙鐵人賽

DAY 9
0

第二部課程影片:https://www.youtube.com/watch?v=rTqmWlnwz_0&t=581s

Learn Target

當我們要訓練機器時,需要有Training Data才能夠訓練,但當這些資料是句子時,除了原本的句子外,還需要對應到每個單字的比對資料。

https://ithelp.ithome.com.tw/upload/images/20190922/20103852e0hC2T6CHu.png

一樣以原影片的範例說明:

訓練資料:"arrive Taipei on November 2nd"
標記資料:"other dest other time time"

而輸出會得到一個array,這個array會紀錄當前單字的種類如dest, time, other等...

假如要輸出dest,這個array會變成[0, 0, ..., 1(dest), ..., 0]
time的話也是如此:[0, 0, ..., 1(time), ..., 0]
other是當他不能被歸類到之前的資料時丟進去的地方:[0, 0, ..., 1(other)]

而Training的方法是使用梯度下降法(Gradient descent),但為了訓練得更容易於是針對RNN設計的演算法:"Backpropagation Through Time(BPTT)"。雖然影片中並沒有講解BPTT詳細的內容,如果日後有辦法的話我會盡量生出來qq

https://ithelp.ithome.com.tw/upload/images/20190922/20103852OTAJaAn5an.png

但儘管如此,RNN是一個很難訓練的神經網路。


上一篇
【Day 08】RNN學習筆記 Part IV
下一篇
【Day 10】RNN學習筆記II Part II
系列文
我是高中生,我學ML和NLP20

尚未有邦友留言

立即登入留言