iT邦幫忙

2021 iThome 鐵人賽

DAY 10
0
AI & Data

Attention到底在關注什麼?系列 第 10

Day 10 Self-attention(四) 要如何平行運算?

Self-attention

昨天講到要怎麼用input的四個vector,a1、a2、a3、a4來產生b1
但是今天沒有要介紹b2到b4是怎麼產生的,因為這幾個值的產生方法都跟b1一樣

b1到b4這幾個值並不是依序產生的,而是平行被計算出來的

那這幾個值是怎麼被平行計算出來的呢?

平行計算的方法是利用線性代數的方法做矩陣運算,把a1~a4串成一個向量
產生的結果就會得到Q、K、V這三個矩陣

由於明天有點事情,今天的進度明天會再補上
今天先打到這邊


上一篇
Day 9 Self-attention(三) input相關聯性計算
下一篇
Day 11 Self-attention(五) KQV矩陣整理
系列文
Attention到底在關注什麼?30

尚未有邦友留言

立即登入留言