iT邦幫忙

鐵人檔案

2021 iThome 鐵人賽
回列表
AI & Data

當自然語言處理遇上深度學習 系列

晚餐沒有頭緒?召喚一下Google Assistant馬上獲得靈感。疫情期間宅在家上Netflix追劇,平台總能掌握自己的喜好推薦新的影集。寫畢業論文卻苦於自己的菜英文,Grammarly還能幫你檢查文法和甚至建議你更道地的用詞,讓指導教授對你的文章嘖嘖稱奇。得力於蓬勃發展的深度學習演算法,自然語言處理使得我們的生活充滿便利。本系列前半部分將介紹自然語言處理的基本流程與重要技術,後半部分則著重在神經機器翻譯(neural machine translation)系統的開發實務。接下來的30天,我會按照上述脈絡整理我所學習的重點,盡量以淺顯易懂的方式呈現給大家。
  
  

鐵人鍊成 | 共 33 篇文章 | 27 人訂閱 訂閱系列文 RSS系列文
DAY 21

[神經機器翻譯理論與實作] Google Translate的神奇武器- Seq2Seq (III)

前言 今天繼續我們未完成的建模大業吧! 我們要建立的seq2seq模型由LSTM編碼器與解碼器串接而成: 寫一個簡單的seq2seq網絡吧-續 我們使用 K...

2021-09-29 ‧ 由 Friedrich1942 分享
DAY 22

[神經機器翻譯理論與實作] 你只需要專注力(I): Attention Mechanism

前言 Google 翻譯團隊在2016年發表了重要文章《Google’s Neural Machine Translation System: Bridging...

2021-09-30 ‧ 由 Friedrich1942 分享
DAY 23

[神經機器翻譯理論與實作] 你只需要專注力(II): 建立更專注的seq2seq模型

前言 注意力機制讓預測目標單詞之前比較其與所有來源單詞(在翻譯任務中精確地來說是詞向量)之間的語意關聯性來提高翻譯的準確度。今天就讓我們來快速回顧注意力機制的原...

2021-10-01 ‧ 由 Friedrich1942 分享
DAY 24

[神經機器翻譯理論與實作] 你只需要專注力(III): 建立更專注的seq2seq模型(續曲)

前言 今天我們將稍微講述 Luong 全域注意力機制的原理,並繼續用 Keras 來架構附帶注意力機制的 seq2seq 神經網絡。 Luong Attenti...

2021-10-02 ‧ 由 Friedrich1942 分享
DAY 25

[神經機器翻譯理論與實作] 將Encoder、Decoder和Attention統統包起來

前言 今天的任務只有一個:採用物件導向設計法將附帶注意力機制的 seq2seq 神經網絡封裝起來 淺談物件導向設計的封裝概念 物件導向程式設計( object-...

2021-10-03 ‧ 由 Friedrich1942 分享
DAY 26

[神經機器翻譯理論與實作] 重新檢視有無注意力機制的Encoder-Decoder

前言 今天是個美麗的錯誤,本來預計將昨日寫好的 Encoder 、Decoder 、 LuongAttention 類別整合進單一個繼承自 tensorflow...

2021-10-04 ‧ 由 Friedrich1942 分享
DAY 27

[神經機器翻譯理論與實作] 從頭建立英中文翻譯器 (I)

前言 從今天起,我們將實地建立英文到中文的翻譯神經網絡,今天先從語料庫到文本前處理開始。 翻譯器建立實作 從語料庫到建立資料集 在這裡我們由公開的平行語料庫來源...

2021-10-05 ‧ 由 Friedrich1942 分享
DAY 28

[神經機器翻譯理論與實作] 從頭建立英中文翻譯器 (II)

前言 今天繼續建立英翻中神經網絡的實作。 翻譯器建立實作 建立資料集(續) 首先引入必要的模組以及函式: from tensorflow.keras.prepr...

2021-10-06 ‧ 由 Friedrich1942 分享
DAY 29

[神經機器翻譯理論與實作] 從頭建立英中文翻譯器 (III)

前言 今天的內容依舊為訓練翻譯 seq2seq 神經網絡的歷程( training process )。 機器學習的兩大階段-訓練(training)與推論(...

2021-10-07 ‧ 由 Friedrich1942 分享
DAY 30

[神經機器翻譯理論與實作] 從頭建立英中文翻譯器 (IV)

前言 今天會將昨天訓練好的翻譯模型在測試資料集進行預測,若進度符合期待,將會使用 BLEU 分數來評估模型的翻譯能力,關於此評測機制的詳細原理與範例程式碼可見下...

2021-10-08 ‧ 由 Friedrich1942 分享