iT邦幫忙

鐵人檔案

2021 iThome 鐵人賽
回列表
AI & Data

Attention到底在關注什麼? 系列

身為一個碩二即將要畢業的人
利用這30天來survey論文題目

鐵人鍊成 | 共 30 篇文章 | 8 人訂閱 訂閱系列文 RSS系列文
DAY 11

Day 11 Self-attention(五) KQV矩陣整理

QKV矩陣 昨天講到Self-attention會產生三種矩陣 Q(query) K(keys) V(values) 並且提到這三個矩陣是利用矩陣相乘的方法得...

2021-09-11 ‧ 由 guancioul 分享
DAY 12

Day 12 Self-attention(六) Multi-Head Self-attention

Multi-Head Self-attention 前面介紹的方法是one head的方法,這邊要來講multi-head 在某些情況下,multi-head的...

2021-09-12 ‧ 由 guancioul 分享
DAY 13

Day 13 Self-attention(七) Positional Encoding、self-attention和其他model的比較

Positional Encoding 如果依照前面講到的,self-attention只有vector之間的相關聯性,並沒有位置的資訊 那我們可以使用一個po...

2021-09-13 ‧ 由 guancioul 分享
DAY 14

Day 14 在VSCode中使用Azure

前言 由於接下來要開始寫到attention和Capsule的實作,主要是會研究一些github或是python內建的套件 研究主要程式、參數、使用方法等等 由...

2021-09-14 ‧ 由 guancioul 分享
DAY 15

Day 15 self-attention的實作準備(一)

前言 由於忘記今天要開學,而且還有一堂課要上,導致我只有兩個小時研究self-attention的實作 今天先來分享我找到什麼跟遇到什麼問題,之後陸續的解決問題...

2021-09-15 ‧ 由 guancioul 分享
DAY 16

Day 16 self-attention的實作準備(二) 設定tensorflow和keras的環境

前言 昨天在建立環境的時候發現有很多相容性的問題,因此今天我想說這幾天先來學習一下tensorflow跟keras,順便把環境建立好 安裝TensorFlow...

2021-09-16 ‧ 由 guancioul 分享
DAY 17

Day 17 self-attention的實作準備(三) 測試使用keras來建立模型

前言 昨天說到要跑範例程式,但是只有做到下載資料集,以及切分資料集,今天來建立模型 利用Sequential API來建立模型 model = keras.mo...

2021-09-17 ‧ 由 guancioul 分享
DAY 18

Day 18 self-attention的實作準備(四) keras的compile和fit

前言 昨天講到要如何建立model,今天來講要如何訓練以及預測 編譯模型 建立完模型之後,必須呼叫compile()方法來指定損失函式與優化法(optimize...

2021-09-18 ‧ 由 guancioul 分享
DAY 19

Day 19 利用transformer自己實作一個翻譯程式(一)

前言 當初想說將每天學到的東西打成一篇文章,紀錄看看30天後學會了什麼 但是最近翻自己的文章就發現內容打的很亂,感覺很多重要的細節沒有講到 進入到實作之後,發現...

2021-09-19 ‧ 由 guancioul 分享
DAY 20

Day 20 利用transformer自己實作一個翻譯程式(二) 建立環境和下載資料集

前言 一開始我會先實作葡萄牙翻譯成英文的模型,之後確定哪一個中翻英的資料集比較好之後,會再打一篇教學 建立環境 !pip install tensorflow_...

2021-09-20 ‧ 由 guancioul 分享