技術 [Day 27] Attention 機制與 Self-Attention 機制的比較與應用

前言 昨天提到了Transformer，也說了他是基於Self-Attention 機制，今天就來談談這個技術又是什麼。在自然語言處理（NLP）及其他序列資料處...

技術 [神經機器翻譯理論與實作] 重新檢視有無注意力機制的Encoder-Decoder

前言 今天是個美麗的錯誤，本來預計將昨日寫好的 Encoder 、Decoder 、 LuongAttention 類別整合進單一個繼承自 tensorflow...

技術 [神經機器翻譯理論與實作] 將Encoder、Decoder和Attention統統包起來

前言 今天的任務只有一個：採用物件導向設計法將附帶注意力機制的 seq2seq 神經網絡封裝起來 淺談物件導向設計的封裝概念 物件導向程式設計（ object-...

技術 [神經機器翻譯理論與實作] 你只需要專注力(III): 建立更專注的seq2seq模型（續曲）

前言 今天我們將稍微講述 Luong 全域注意力機制的原理，並繼續用 Keras 來架構附帶注意力機制的 seq2seq 神經網絡。 Luong Attenti...

技術 [神經機器翻譯理論與實作] 你只需要專注力(II): 建立更專注的seq2seq模型

前言 注意力機制讓預測目標單詞之前比較其與所有來源單詞（在翻譯任務中精確地來說是詞向量）之間的語意關聯性來提高翻譯的準確度。今天就讓我們來快速回顧注意力機制的原...

技術 [神經機器翻譯理論與實作] 你只需要專注力(I): Attention Mechanism

前言 Google 翻譯團隊在2016年發表了重要文章《Google’s Neural Machine Translation System: Bridging...