iT邦幫忙

鐵人檔案

2022 iThome 鐵人賽
回列表
AI & Data

變形金剛與抱臉怪---NLP 應用開發之實戰 系列

Transformer 已經是學術界和產業界處理各種自然語言處理 (NLP) 的最常用的模型架構,而 Hugging Face 是目前最流行的自然語言處理框架,其生態系相當的完整,可使工程師很容易訓練 NLP 模型。本次30天的內容會涵蓋 Transformer 的理論、Hugging Face 的 API 、中文的自然語處理、部署模型等。會以 Pytorch 為主,並使用 Azure Machine Learning 的 GPU machine 做為開發的環境。

(標題只是譁眾取寵,這系列是要講 Transformer 與 Hugging Face 😂😂)

鐵人鍊成 | 共 30 篇文章 | 38 人訂閱 訂閱系列文 RSS系列文
DAY 21

# Day21-Hugging Face 摘要任務入門

摘要(summarization)也是自然語言處理中很常見的任務之一,今天我們就來看看 Hugging Face 如何幫我們幫我們做摘要吧! Encoder-D...

DAY 22

# Day22-評價摘要好壞的演算法

評價摘要的好壞 我們用了兩個模型做了摘要,那麼有沒有辦法評價摘要的好壞呢?常見評價摘要的算法有兩種,一個是 BLEU,一個是 ROGUE。 BLEU 是一種...

DAY 23

# Day23- Fine-tuned 摘要任務的 transformer

今天我們講怎麼 find-tuned 摘要任務,今天會很吃 GPU ,不一定每個人都能跑,不過也有比較節省 GPU 的寫法。 我們來用這個 dataset ,...

DAY 24

# Day24- Hugging Face Named Entity Recognition

今天我們來補充自然語言處理中的一個很重要的概念:Named Entity Recognition(NER)。 一般翻譯為命名實體辨識、命名實體識別,或也有人翻成...

DAY 25

# Day25- Hugging Face 問答任務

很快地我們 Hugging Face 的旅程來到了最後一個任務:問答任務啦!Question answering 一直是自然語言處理中很困難的部份。最常使用的是...

DAY 26

# Day26- 當代QA系統的架構

昨天我們用 Hugging Face 做了QA ,但是大家想必發現了很麻煩的一件事情:每次都要把 context 送進去才行。這真的很麻煩,而且處理 conte...

DAY 27

# Day27-Transformer 效能優化

這幾天玩下來,大家應該都有發現到一個問題,就是 Transformer 的效能不是太好,尤其你要在大吞吐量下運作,想必是非常的耗費運算資源。更不用說在不久的將來...

DAY 28

# Day28- Hugging Face Optimum Quantization

Quantization 是目前優化模型效能很常見的手法,簡單來說就是減少浮點數的精度範圍,使得模型更快更小,而我們可以透過 Optimum 很容易辦到這件事情...

DAY 29

# Day29- 部署 Hugging Face model

我們前幾天自己訓練的模型,都可以在 TrainingArguments 裡面加個參數 push_to_hub=True ,把模型推送到 Hugging Face...

DAY 30

# Day30- Hugging Face 串接聊天機器人

昨天我們把 Hugging Face 的 model 部署到 Azure 上了,也成功用 Web API 來跑文本生成,今天我們就來用這支 API,串接到聊天機...

大魔術熊貓工程師的收藏
大魔術熊貓工程師的追蹤
大魔術熊貓工程師的Like
大魔術熊貓工程師的紀錄