iT邦幫忙

鐵人檔案

2021 iThome 鐵人賽
回列表
AI & Data

Attention到底在關注什麼? 系列

身為一個碩二即將要畢業的人
利用這30天來survey論文題目

鐵人鍊成 | 共 30 篇文章 | 8 人訂閱 訂閱系列文 RSS系列文
DAY 1

Day 1 Survey主題

參賽前言 目前是碩二的學生,平常有在外接專案,為了要畢業還是需要想出論文題目,所以利用這次參加鐵人賽的機會來想論文要做什麼第一天先介紹目前的進度規劃,後續的筆記...

2021-09-01 ‧ 由 guancioul 分享
DAY 2

Day 2 Convolutional Neural Network(CNN)

前言 昨天才剛講完NN的缺點,今天就要先來介紹CNN,主要是CNN是圖像辨識中一個很重要的突破,但是CNN還是有一些缺點,這邊就先來簡單的介紹CNN以及CNN的...

2021-09-02 ‧ 由 guancioul 分享
DAY 3

Day 3 Capsule Network

Day 3 Capsule Network 前言 昨天講到CNN的限制,那今天就要開始介紹甚麼是膠囊網路,膠囊網路是利用甚麼方法來傳遞向量資訊的 Capsule...

2021-09-03 ‧ 由 guancioul 分享
DAY 4

Day 4 Matrix capsules with EM routing

前言 接續著昨天講到的EM routing,今天來將EM routing做進一步的解釋 EM routing 將向量的輸入輸出改為使用矩陣來做運算處理,協議動態...

2021-09-04 ‧ 由 guancioul 分享
DAY 5

Day 5 Capsule的應用(上)

前言 由於前幾天講了capsule network,attention的筆記我還在製作,因此先來講講capsule的應用,這個應用是在CVPR上的一篇論文Vis...

2021-09-05 ‧ 由 guancioul 分享
DAY 6

Day 6 Capsule的應用(下)

前言 今天把昨天講的論文做一個總結,明天就要開始介紹attention了 A2D dataset 這是本文使用的資料及稱為actor 和 action 的資料集...

2021-09-06 ‧ 由 guancioul 分享
DAY 7

Day 7 Self-attention(一) input和output

前言 今天開始終於要來講self-attention了,由於我對於self-attention比較不熟,因此先透過李弘毅老師的影片來惡補一下,影片連結 【機...

2021-09-07 ‧ 由 guancioul 分享
DAY 8

Day 8 Self-attention(二) 如何算出input彼此是相關的?

前言 昨天講到為什麼要使用self-attention,今天稍微來介紹一下self-attention的架構 Self-attention 昨天提到的問題,解決...

2021-09-08 ‧ 由 guancioul 分享
DAY 9

Day 9 Self-attention(三) input相關聯性計算

Self-attention 首先先把a1乘上Wq,就會得到q1,q的意思是query,也就是查詢的意思a2乘上Wk,會得到k2,這個k就是key的意思將這兩個...

2021-09-09 ‧ 由 guancioul 分享
DAY 10

Day 10 Self-attention(四) 要如何平行運算?

Self-attention 昨天講到要怎麼用input的四個vector,a1、a2、a3、a4來產生b1但是今天沒有要介紹b2到b4是怎麼產生的,因為這幾個...

2021-09-10 ‧ 由 guancioul 分享