iT邦幫忙

鐵人檔案

2021 iThome 鐵人賽
回列表
AI & Data

Attention到底在關注什麼? 系列

身為一個碩二即將要畢業的人
利用這30天來survey論文題目

鐵人鍊成 | 共 30 篇文章 | 8 人訂閱 訂閱系列文 RSS系列文
DAY 1

Day 1 Survey主題

參賽前言 由於目前是碩二的學生,平常有在外面接專案,但是為了要畢業還是需要努力想出論文題目 第一天先簡單介紹目前的規劃進度,之後陸續做完會將筆記分享在鐵人賽 在...

2021-09-01 ‧ 由 guancioul 分享
DAY 2

Day 2 Convolutional Neural Network(CNN)

前言 昨天才剛講完NN的缺點,今天就要先來介紹CNN,主要是CNN是圖像辨識中一個很重要的突破,但是CNN還是有一些缺點,這邊就先來簡單的介紹CNN以及CNN的...

2021-09-02 ‧ 由 guancioul 分享
DAY 3

Day 3 Capsule Network

Day 3 Capsule Network 前言 昨天講到CNN的限制,那今天就要開始介紹甚麼是膠囊網路,膠囊網路是利用甚麼方法來傳遞向量資訊的 Capsule...

2021-09-03 ‧ 由 guancioul 分享
DAY 4

Day 4 Matrix capsules with EM routing

前言 接續著昨天講到的EM routing,今天來將EM routing做進一步的解釋 EM routing 將向量的輸入輸出改為使用矩陣來做運算處理,協議動態...

2021-09-04 ‧ 由 guancioul 分享
DAY 5

Day 5 Capsule的應用(上)

前言 由於前幾天講了capsule network,attention的筆記我還在製作,因此先來講講capsule的應用,這個應用是在CVPR上的一篇論文 Vi...

2021-09-05 ‧ 由 guancioul 分享
DAY 6

Day 6 Capsule的應用(下)

前言 今天把昨天講的論文做一個總結,明天就要開始介紹attention了 A2D dataset 這是本文使用的資料及 稱為actor 和 action 的資...

2021-09-06 ‧ 由 guancioul 分享
DAY 7

Day 7 Self-attention(一) input和output

前言 今天開始終於要來講self-attention了,由於我對於self-attention比較不熟,因此先透過 李弘毅老師的影片來惡補一下,影片連結 【...

2021-09-07 ‧ 由 guancioul 分享
DAY 8

Day 8 Self-attention(二) 如何算出input彼此是相關的?

前言 昨天講到為什麼要使用self-attention,今天稍微來介紹一下self-attention的架構 Self-attention 昨天提到的問題,解決...

2021-09-08 ‧ 由 guancioul 分享
DAY 9

Day 9 Self-attention(三) input相關聯性計算

Self-attention 首先先把a1乘上Wq,就會得到q1,q的意思是query,也就是查詢的意思 a2乘上Wk,會得到k2,這個k就是key的意思 將...

2021-09-09 ‧ 由 guancioul 分享
DAY 10

Day 10 Self-attention(四) 要如何平行運算?

Self-attention 昨天講到要怎麼用input的四個vector,a1、a2、a3、a4來產生b1 但是今天沒有要介紹b2到b4是怎麼產生的,因為這幾...

2021-09-10 ‧ 由 guancioul 分享