系列文章
DAY 21
21 Activation functions and ReLU
今天我們來談談 activation function 吧！ 先談談線性轉換 談 activation function 之前先要談談線性轉換。 有上到比較後面...
DAY 22
22 Convolutional encoder-decoder 架構
標題這不是一個專有名詞。 在電腦視覺的領域中有幾個有名的問題： 影像辨識（Image recognition） 物件辨識（Object detection）...
DAY 23
23 Markov chain 及 HMM
上次我們講完在空間上，我們可以知道資料的區域性，並且利用 convolution 來萃取特徵。 這次我們來講時間，其實不一定要是"時間"序列...
DAY 24
24 Recurrent neural network
接續上一篇。 Recurrent neural network 那大家所熟知的 RNN 是怎麼回事呢？我們把假設改了一下： 狀態都是 連續 的。 時間是離散的...
DAY 25
25 Recurrent model 之死
當大家正在開心的用著 RNN 跟 LSTM 等等模型之時，就有人跳出來了。 不要再用 RNN 為基礎的模型了！！ 就是這篇 The fall of RNN /...
DAY 26
26 seq2seq model
前面有提到 seq2seq model，我們就從這邊開始。 Seq2seq model 他採用了 encoder-decoder 架構，這時候就要來點 pape...
DAY 27
27 Attention model
繼 Seq2seq model 之後，真正可以做到 end-to-end 翻譯的，很多都是用了 attention model。 Attention model...
DAY 28
28 Transformer
繼 Attention model 之後，由於 recurrent 架構的特性一直無法善用 GPU 的資源做加速。 這時 Google Brain 團隊就看到別...
DAY 29
29 Autoregressive generative model
在前面的 Transformer 的文章中有提到了 auto-regressive 的特質。 在 When Recurrent Models Don't Nee...