技術 【Day 6】BERT由Transformer模型構建而成

前五天，我們講解了BERT模型的核心概念、輸入輸出以及模型的類型，現在讓我們進入模型的結構、原理部分，來談一談作為BERT模型的原始架構的Transformer...

技術 [神經機器翻譯理論與實作] Google Translate的神奇武器- Seq2Seq (I)

前言 Google 在2016年公開宣布翻譯系統的全面改革，一改沿用多年的 Phrase-Based Statistical Machine Translati...

技術 Day 23 - 天眼CNN 的耳朵和嘴巴 - Transformer

RNN問題及解法 RNN 有字數限制, 最多到200字, 超過效果不好。The fall of RNN / LSTM 針對基於CNN和RNN的Seq2Seq模型...

技術 [Day21] NLP會用到的模型(四)-Seq2Seq

一. Sequence to Sequence 在說明transformer之前，先介紹一下何謂Sequence to Sequence的模型。Sequence...

技術 [神經機器翻譯理論與實作] 從頭建立英中文翻譯器 (IV)

前言 今天會將昨天訓練好的翻譯模型在測試資料集進行預測，若進度符合期待，將會使用 BLEU 分數來評估模型的翻譯能力，關於此評測機制的詳細原理與範例程式碼可見下...

技術 [神經機器翻譯理論與實作] Google Translate的神奇武器- Seq2Seq (II)

前言 我們緊接著切入 RNN 為架構的編碼器-解碼器。 在seq2seq之前 RNN Encoder-Decoder 在 Google 正式提出 seq2seq...

技術 [神經機器翻譯理論與實作] 將Encoder、Decoder和Attention統統包起來

前言 今天的任務只有一個：採用物件導向設計法將附帶注意力機制的 seq2seq 神經網絡封裝起來 淺談物件導向設計的封裝概念 物件導向程式設計（ object-...

技術 [神經機器翻譯理論與實作] Google Translate的神奇武器- Seq2Seq (III)

前言 今天繼續我們未完成的建模大業吧！ 我們要建立的seq2seq模型由LSTM編碼器與解碼器串接而成： 寫一個簡單的seq2seq網絡吧－續 我們使用 K...

技術 [神經機器翻譯理論與實作] 重新檢視有無注意力機制的Encoder-Decoder

前言 今天是個美麗的錯誤，本來預計將昨日寫好的 Encoder 、Decoder 、 LuongAttention 類別整合進單一個繼承自 tensorflow...