iT邦幫忙

2021 iThome 鐵人賽

DAY 9
0
AI & Data

Attention到底在關注什麼?系列 第 9

Day 9 Self-attention(三) input相關聯性計算

Self-attention


首先先把a1乘上Wq,就會得到q1,q的意思是query,也就是查詢的意思
a2乘上Wk,會得到k2,這個k就是key的意思
將這兩個值做內積之後會得到alpha1,2,就可以知道這兩個vector之間的相關聯性,這個關聯性也有一個稱號,叫做attention score


a3跟a4也做跟a2一樣的事情,就分別算出alpha1,3,alpha1,4這兩個相關聯性


另外a1也會跟自己計算相關聯性,得到alpha1,1


那這邊我們在使用softmax來計算a'1,1,a'1,2,a'1,3,a'1,4
在經過前人很多嘗試之後,像是relu之類的,發現softmax的效果最好

根據這個alpha,我們已經知道那些向量是跟a1最有關係的,接下來我們要根據這個attention的分數來抽取資訊

將a1,a2,a3,a4分別乘上Wv,會得到v1,v2,v3,v4


接著將v1,v2,v3,v4分別乘上a'1,1,a'1,2,a'1,3,a'1,4,再將這些值加起來,就會得到b1,只要哪一個alpha的權重比較大,最後得到b1的之後就會比較接近那一個值


所以這邊就講了要怎麼用一整個sequence,得到b1


上一篇
Day 8 Self-attention(二) 如何算出input彼此是相關的?
下一篇
Day 10 Self-attention(四) 要如何平行運算?
系列文
Attention到底在關注什麼?30

尚未有邦友留言

立即登入留言