參賽前言

目前是碩二的學生，平常有在外接專案，為了要畢業還是需要想出論文題目，所以利用這次參加鐵人賽的機會來想論文要做什麼
第一天先介紹目前的進度規劃，後續的筆記整理完會分享在鐵人賽

Attention

在2017年的時候，一篇Google提出來的論文Attention Is All You Need，講到Attention有幾個優點

1. 使用的參數少
2. 訓練的速度快
3. 最後得到的準確率高

Attention這種模型訓練速度快的原因是，只需要關注圖片中的某個重要的部分，而不是關注全部
因此比起CNN要對整張圖片做Convolution，Attention只需要對關注的部分作訓練就好
這也跟人類在識別東西的原理很像，我們並不會接收整個環境中所有的資訊，只會接收最重要的部分

前一段時間lab meeting的時候，我在lab介紹capsule network這個技術
這篇論文是在2017年，由大神Hinton所提出的
一般的neural network(NN)在計算的時候只會使用純量來計算，但特徵之間是相對的，用純量會失去很多特徵，而capsule network是用向量來儲存資料，能夠保留的特徵會比NN來的多

Capsule Network

舉例來說，假設要識別一個朝向右邊的鳥嘴
NN只能識別這是一個鳥嘴，沒辦法識別是朝向哪邊的鳥嘴
Capsule Network除了可以識別出鳥嘴外，還有辦法訓練出方向
缺點就是Capsule Network這樣的作法，由於要接收的資訊更多，因此訓練量會變大

Question

這時實驗室許多學長和老師提出，capsule network跟self-attention的概念是不是有一點相同
由於只有大略知道attention是什麼，不確定self-attention的概念是什麼

因此這30天的目標就是搞懂capsule network、self-attention以及attention分別是什麼
並且實驗室最近有Recommended system相關的研究，因此會學習要如何將Attention和Recommended system做結合

學習目標

1. 李弘毅老師的自注意力機制
2. Attention相關論文：Attention Is All You Need
3. Capsule相關論文：dynamic routing between capsules
4. 研究目前最新的推薦系統

將上面的目標完成後，會再去看這些論文相關的延伸論文，並且會將讀過的文章整理成筆記上傳到鐵人賽上