iT邦幫忙

2021 iThome 鐵人賽

DAY 1
2
AI & Data

Attention到底在關注什麼?系列 第 1

Day 1 Survey主題

參賽前言

由於目前是碩二的學生,平常有在外面接專案,但是為了要畢業還是需要努力想出論文題目
第一天先簡單介紹目前的規劃進度,之後陸續做完會將筆記分享在鐵人賽

在2017年的時候,一篇Google提出來的論文Attention Is All You Need,Attention有幾個優點

  1. 使用的參數少
  2. 訓練的速度快
  3. 最後得到的準確率高

Attention的方法最主要就是只關注於圖片中的某個重要的部分,而不是關注全部
因此比起CNN要對整張圖片做Convolution,Attention只需要對需要關注的部分作訓練就好
這也跟人類在識別東西的原理很像,我們並不會接收整個環境中所有的資訊,只會接收最重要的部分

前一段時間lab meeting的時候,我曾經在lab介紹過capsule network這個技術
這篇論文是在2017年,由大神Hinton所提出的,一般的neural network(NN)在計算得時候只會使用純量來計算
因此會失去掉很多特徵,但是capsule network是用向量來儲存資料,因此能夠保留的特徵會比NN來的多

舉例來說,假設要識別一個朝向右邊的鳥嘴
NN只能識別這是一個鳥嘴,沒辦法識別是朝向哪邊的鳥嘴
Capsule Network除了可以識別出鳥嘴外,還有辦法訓練出方向
缺點就是Capsule Network這樣的作法,由於要接收的資訊更多,因此訓練量會變大

這時實驗室許多學長和老師提出,capsule跟self-attention的概念是不是有一點相同
由於我只大略知道attention是什麼,不確定self-attention的概念是什麼

因此這30天的目標就是搞懂capsule、self-attention、attention分別是什麼,並且由於實驗室最近有
Recommended system相關的研究,因此也會學習要如何和Recommended system做結合

學習目標

一開始會先從李弘毅老師的自注意力機制開始
再來看懂Attention相關論文:Attention Is All You Need
Capsule相關論文:dynamic routing between capsules
研究目前最新的推薦系統
之後再去看這些論文相關的延伸論文
並且會將讀過的文章整理成筆記到鐵人賽上


下一篇
Day 2 Convolutional Neural Network(CNN)
系列文
Attention到底在關注什麼?30

尚未有邦友留言

立即登入留言