iT邦幫忙

hugging face相關文章
共有 14 則文章
鐵人賽 自我挑戰組 DAY 5

技術 Day 5 - 開源機器學習社群平台-Hugging Face

Hugging Face 是甚麼 Hugging Face 是一家軟體公司和開源社區,專注於自然語言處理和人工智慧領域的研究和開發。該社區成立於2016年,以其...

鐵人賽 AI & Data DAY 30

技術 # Day30- Hugging Face 串接聊天機器人

昨天我們把 Hugging Face 的 model 部署到 Azure 上了,也成功用 Web API 來跑文本生成,今天我們就來用這支 API,串接到聊天機...

鐵人賽 AI & Data DAY 29

技術 # Day29- 部署 Hugging Face model

我們前幾天自己訓練的模型,都可以在 TrainingArguments 裡面加個參數 push_to_hub=True ,把模型推送到 Hugging Face...

鐵人賽 AI & Data DAY 28

技術 # Day28- Hugging Face Optimum Quantization

Quantization 是目前優化模型效能很常見的手法,簡單來說就是減少浮點數的精度範圍,使得模型更快更小,而我們可以透過 Optimum 很容易辦到這件事情...

鐵人賽 AI & Data DAY 27

技術 # Day27-Transformer 效能優化

這幾天玩下來,大家應該都有發現到一個問題,就是 Transformer 的效能不是太好,尤其你要在大吞吐量下運作,想必是非常的耗費運算資源。更不用說在不久的將來...

鐵人賽 AI & Data DAY 26

技術 # Day26- 當代QA系統的架構

昨天我們用 Hugging Face 做了QA ,但是大家想必發現了很麻煩的一件事情:每次都要把 context 送進去才行。這真的很麻煩,而且處理 conte...

鐵人賽 AI & Data DAY 25

技術 # Day25- Hugging Face 問答任務

很快地我們 Hugging Face 的旅程來到了最後一個任務:問答任務啦!Question answering 一直是自然語言處理中很困難的部份。最常使用的是...

鐵人賽 AI & Data DAY 23

技術 # Day23- Fine-tuned 摘要任務的 transformer

今天我們講怎麼 find-tuned 摘要任務,今天會很吃 GPU ,不一定每個人都能跑,不過也有比較節省 GPU 的寫法。 我們來用這個 dataset ,...

鐵人賽 AI & Data DAY 22

技術 # Day22-評價摘要好壞的演算法

評價摘要的好壞 我們用了兩個模型做了摘要,那麼有沒有辦法評價摘要的好壞呢?常見評價摘要的算法有兩種,一個是 BLEU,一個是 ROGUE。 BLEU 是一種...

鐵人賽 AI & Data DAY 20

技術 # Day20-Hugging Face 中文的文本生成

應觀眾要求,希望快點講中文的自然語言處理,於是就插撥了今天的內容。中研院的詞庫小組有在 Hugging Face 上傳大量的基於繁體中文訓練的模型,可以參考這邊...

鐵人賽 AI & Data DAY 19

技術 # Day19-Hugging Face 文本生成進階

今天我們來講講怎麼優化文本生成。 Greedy Search 所謂的貪婪搜尋,在 Hugging Face 就不用自己實做了,只要設定這樣子的參數就可以了:n...

鐵人賽 AI & Data DAY 18

技術 # Day18-Hugging Face 文本生成入門

今天我們來講文本生成(Text generation)。文本生成是迭代來完成的,預測「I have a pen, I have an ......」的下一個字機...

鐵人賽 AI & Data DAY 17

技術 # Day17-Transformer 的種類

Transformer 內有一組很關鍵的機制,是一種 encoder-decoder 的架構。 Encoder 主要扮演的角色是把輸入的一連串的 token 轉...

鐵人賽 AI & Data DAY 15

技術 # Day15- Fine-tune Transformer --- 資料處理篇

這幾天我們做完了一個完整的文本分類的 transformer 了,但是我們做的內容,都是直接呼叫人家做好的 pre-trained model。其訓練的資料內容...