iT邦幫忙

transformer相關文章
共有 7 則文章
鐵人賽 自我挑戰組 DAY 27

技術 [Day27] NLP會用到的模型(十)-實作transformer-下

一. 建立decoder 昨天已建立完decoder的部分,我上面有一些註釋,希望多少可以幫助理解程式碼 decoder class,流程與Day25介紹的d...

鐵人賽 自我挑戰組 DAY 26

技術 [Day26] NLP會用到的模型(九)-實作transformer-上

一. 資料準備 這次任務是實作機器翻譯,資料: http://www.manythings.org/anki/ 可以找中翻英的data,可以找cmn-eng/c...

鐵人賽 自我挑戰組 DAY 25

技術 [Day25] NLP會用到的模型(八)-transformer decoder

一. decoder 架構如下: decoder主要是解析encoder的資訊,轉換成output的形式 decoder分成下面三個子層: Masked M...

鐵人賽 自我挑戰組 DAY 24

技術 [Day24] NLP會用到的模型(七)-transformer encoder

一. encoder 架構如下: encoder的動作在於對input進行編碼,在一開始input會產生Q、K、V這三個矩陣,由上圖可知道,他會先進行多頭的s...

鐵人賽 自我挑戰組 DAY 23

技術 [Day23] NLP會用到的模型(六)-transformer架構

一. 介紹 transformer就是像前述介紹的,他就是一個seq2seq model,將一個序列轉成另一個序列,中間都是由前一天所說self-attenti...

鐵人賽 AI & Data DAY 6

技術 【Day 6】BERT由Transformer模型構建而成

前五天,我們講解了BERT模型的核心概念、輸入輸出以及模型的類型,現在讓我們進入模型的結構、原理部分,來談一談作為BERT模型的原始架構的Transformer...

AI 高中生的自我學習 系列 第 23

技術 Day 23 - 天眼CNN 的耳朵和嘴巴 - Transformer

RNN問題及解法 RNN 有字數限制, 最多到200字, 超過效果不好。The fall of RNN / LSTM 針對基於CNN和RNN的Seq2Seq模型...