iT邦幫忙

鐵人檔案

2021 iThome 鐵人賽
回列表
AI & Data

Attention到底在關注什麼? 系列

身為一個碩二即將要畢業的人
利用這30天來survey論文題目

鐵人鍊成 | 共 30 篇文章 | 8 人訂閱 訂閱系列文 RSS系列文
DAY 21

Day 21 利用transformer自己實作一個翻譯程式(三) 文字標籤化和去標籤化

前言 昨天講到要怎麼建立環境和下載資料集,今天要來講文字的處理 文字標籤化和去標籤化 由於模型沒有辦法直接訓練文字,因此要對文字做一些處理 這些文字要先轉換成一...

2021-09-21 ‧ 由 guancioul 分享
DAY 22

Day 22 利用transformer自己實作一個翻譯程式(四) 輸入資料處理

輸入管道(input pipeline) 要建立適合訓練的管道,需要對資料集做一些轉換 def tokenize_pairs(pt, en): pt =...

2021-09-22 ‧ 由 guancioul 分享
DAY 23

Day 23 利用transformer自己實作一個翻譯程式(五) Positional encoding

Positional encoding 在Day 13 Self-attention(七) Positional Encoding、self-attention...

2021-09-23 ‧ 由 guancioul 分享
DAY 24

Day 24 利用transformer自己實作一個翻譯程式(六) Masking

Masking 需要把填充的部分標記為0,其餘部分標記為1,才不會導致填充的部分被誤認為是輸入 def create_padding_mask(seq):...

2021-09-24 ‧ 由 guancioul 分享
DAY 25

Day 25 利用transformer自己實作一個翻譯程式(七) Scaled dot product attention

Scaled dot product attention 前面有提到transformer需要3個矩陣,K、Q、V 這個公式是前人推導出來效果最好的公式 推...

2021-09-25 ‧ 由 guancioul 分享
DAY 26

Day 26 利用transformer自己實作一個翻譯程式(八) Multi-head attention

Multi-head attention 在Day 12 Self-attention(六) Multi-Head Self-attention有提到相關的概念...

2021-09-26 ‧ 由 guancioul 分享
DAY 27

Day 27 利用transformer自己實作一個翻譯程式(九) Point wise feed forward network

Point wise feed forward network 在兩層全連階層中加入一個relu的激活函數 def point_wise_feed_forwar...

2021-09-27 ‧ 由 guancioul 分享
DAY 28

Day 28 利用transformer自己實作一個翻譯程式(十) Encoder layer

Transformer跟用attention的Seq2Seq的模型有著一樣的pattern 輸入的句子通過N個Encoder layer,把序列中的每一個t...

2021-09-28 ‧ 由 guancioul 分享
DAY 29

Day 29 利用transformer自己實作一個翻譯程式(十一) Decoder layer

每個解碼器都包含幾個子層 Masked multi-head attention(包含look ahead mask跟padding mask) Multi-...

2021-09-29 ‧ 由 guancioul 分享
DAY 30

Day 30 完賽心得

在開始鐵人賽之後才發現這個月不該比鐵人賽的 這個月的事情比平常都還要多 雖然硬著頭皮寫完了30天的文章 但是後面code真的沒有時間一一去看懂去解說 之後論文開...

2021-09-30 ‧ 由 guancioul 分享