iT邦幫忙

transformer相關文章
共有 49 則文章
鐵人賽 AI & Data DAY 2

技術 # Day2-Hugging Face 架構與三大神器

Hugging Face 是開源的 Hugging Face 有完整的生態系和社群,我們幾乎可以只使用 Hugging Face ,就做完大部份最困難的 Tra...

鐵人賽 AI & Data DAY 1

達標好文 技術 # Day1-變形金剛與抱臉怪的基本介紹

寫在最前面 本系列文的標題「變形金剛與抱臉怪---NLP 應用開發之實戰」,只是為了譁眾取寵,這系列是要講 Transformer 與 Hugging Face...

鐵人賽 AI & Data DAY 6

技術 【Day 6】BERT由Transformer模型構建而成

前五天,我們講解了BERT模型的核心概念、輸入輸出以及模型的類型,現在讓我們進入模型的結構、原理部分,來談一談作為BERT模型的原始架構的Transformer...

鐵人賽 AI & Data DAY 3

技術 # Day3-Hugging Face 本地端開發環境設定

由於自然語言的訓練往往非常的耗時,建議你有 GPU 會比較節省時間,當然沒有也是可以的,只是會等待比較長的時間。如果你本地的電腦有 GPU 環境的話,那麼我們就...

鐵人賽 AI & Data DAY 10

技術 # Day10-Tokenizer 入門

在自然語言處理的領域,tokenization 一般會翻譯做分詞,而 tokenizer 一般會翻譯成分詞器。但是在許多程式設計的領域,會把 tokenizat...

鐵人賽 AI & Data DAY 12

技術 # Day12-Hugging Face Tokenizer

我們昨天講了一大堆的分詞理論,如果無法消化吸收也沒有關係,就當做是惡夢一場,忘了吧!今天我們來用 Hugging Face Tokenizer Library,...

鐵人賽 AI & Data DAY 24

技術 【NLP】Day 24: 欸!BERT!你在幹嘛呀?BERT 模型實作&程式碼解析

別想太多,做就對了!《捍衛戰士:獨行俠》 前兩天我們已經了解 BERT 的內部運作,還有 BERT 在進行語言處理上的一些缺陷。今天不聊理論,我們來簡單一一...

鐵人賽 AI & Data DAY 16

技術 # Day16- Fine-tune Transformer --- 訓練模型篇

我們把昨天的 dataset 做好分詞之後,就可以來訓練自己的模型啦! 載入 PyTorch 和使用 CUDA,然後再用 AutoModelForSequen...

鐵人賽 AI & Data DAY 4

技術 # Day4-Hugging Face 雲端開發環境設定

在第一天有講過,如果本地端電腦沒有 GPU 的話,也可以考慮雲端環境。而實務上,因為雲端的高度彈性,往往會選用雲端環境來做開發測試。至於為什麼該使用雲端,這個又...

鐵人賽 AI & Data DAY 7

技術 # Day7-載入自己的 Dataset

昨天我們練習了用 Hugging Face Datasets Library 來把 Hugging Face Hub 上的 dataset 載下來,今天我們來試...

鐵人賽 AI & Data DAY 11

技術 # Day11-當代的 Tokenizer algorithm

昨天我們提到了兩種古典的分詞分式:Character tokenization 和 Word tokenization。然後我們很快發現其盲點,Characte...

鐵人賽 AI & Data DAY 6

技術 # Day6-初探 Hugging Face Dataset Library

今天我們終於要再繼續寫程式了,沿續使用昨天的 poem_sentiment 這個 dataset。 Hugging Face Datasets Library...

鐵人賽 AI & Data DAY 5

技術 # Day5-Hugging Face Hub Dataset

還記得我們在第三天第四天做了的情感分析嗎?判斷句子是 Positive 還是 Negative 這是屬於 text classification 的範圍,算是自...

鐵人賽 AI & Data DAY 20

技術 # Day20-Hugging Face 中文的文本生成

應觀眾要求,希望快點講中文的自然語言處理,於是就插撥了今天的內容。中研院的詞庫小組有在 Hugging Face 上傳大量的基於繁體中文訓練的模型,可以參考這邊...

鐵人賽 自我挑戰組 DAY 25

技術 [Day25] NLP會用到的模型(八)-transformer decoder

一. decoder 架構如下: decoder主要是解析encoder的資訊,轉換成output的形式decoder分成下面三個子層: Masked Mul...

鐵人賽 AI & Data DAY 18

技術 # Day18-Hugging Face 文本生成入門

今天我們來講文本生成(Text generation)。文本生成是迭代來完成的,預測「I have a pen, I have an ......」的下一個字機...

鐵人賽 AI & Data DAY 13

技術 # Day13-Hugging Face Transformer 入門

Transformer 是當代自然語言處理最重要的技術了,如果您對於 Word2vec、RNN、seq2seq 等等之類的技術不太熟悉,那麼就先放著沒關係,之後...

鐵人賽 AI & Data DAY 8

技術 # Day8-載入極巨大的 Dataset -- Arrow 篇

一般訓練模型上,都會建議採用 transfer learning ,可以參考 Day 1 的內容實務,可以節省更多的時間和運算資料。但是如果自己重頭訓練模型的時...

鐵人賽 AI & Data DAY 23

技術 # Day23- Fine-tuned 摘要任務的 transformer

今天我們講怎麼 find-tuned 摘要任務,今天會很吃 GPU ,不一定每個人都能跑,不過也有比較節省 GPU 的寫法。 我們來用這個 dataset ,...

AI 高中生的自我學習 系列 第 23

技術 Day 23 - 天眼CNN 的耳朵和嘴巴 - Transformer

RNN問題及解法 RNN 有字數限制, 最多到200字, 超過效果不好。The fall of RNN / LSTM 針對基於CNN和RNN的Seq2Seq模型...

鐵人賽 AI & Data DAY 15

技術 # Day15- Fine-tune Transformer --- 資料處理篇

這幾天我們做完了一個完整的文本分類的 transformer 了,但是我們做的內容,都是直接呼叫人家做好的 pre-trained model。其訓練的資料內容...

鐵人賽 AI & Data DAY 9

技術 # Day9-載入極巨大的 Dataset -- Stream 篇

昨天 Hugging Face 裡透過 Arrow 和 Stream 兩種機制,讓我們可以有效率的來操作資料,今天我們就來看看 Stream 的部份吧 Stre...

鐵人賽 AI & Data DAY 14

技術 # Day14-Hugging Face Transformer Pipeline 和 TF model

昨天我們做完了一個完整的文本分類的 transformer 了,也準確地預測具有負面意義的詩句,真的是太厲害了。今天我們來看看更方便的 Transformer...

鐵人賽 AI & Data DAY 19

技術 # Day19-Hugging Face 文本生成進階

今天我們來講講怎麼優化文本生成。 Greedy Search 所謂的貪婪搜尋,在 Hugging Face 就不用自己實做了,只要設定這樣子的參數就可以了:n...

鐵人賽 AI & Data DAY 25

技術 # Day25- Hugging Face 問答任務

很快地我們 Hugging Face 的旅程來到了最後一個任務:問答任務啦!Question answering 一直是自然語言處理中很困難的部份。最常使用的是...

鐵人賽 AI & Data DAY 17

技術 # Day17-Transformer 的種類

Transformer 內有一組很關鍵的機制,是一種 encoder-decoder 的架構。 Encoder 主要扮演的角色是把輸入的一連串的 token 轉...

鐵人賽 AI & Data DAY 22

技術 # Day22-評價摘要好壞的演算法

評價摘要的好壞 我們用了兩個模型做了摘要,那麼有沒有辦法評價摘要的好壞呢?常見評價摘要的算法有兩種,一個是 BLEU,一個是 ROGUE。 BLEU 是一種...

鐵人賽 自我挑戰組 DAY 27

技術 [Day27] NLP會用到的模型(十)-實作transformer-下

一. 建立decoder 昨天已建立完decoder的部分,我上面有一些註釋,希望多少可以幫助理解程式碼 decoder class,流程與Day25介紹的d...

鐵人賽 AI & Data DAY 26

技術 # Day26- 當代QA系統的架構

昨天我們用 Hugging Face 做了QA ,但是大家想必發現了很麻煩的一件事情:每次都要把 context 送進去才行。這真的很麻煩,而且處理 conte...

鐵人賽 AI & Data DAY 27

技術 # Day27-Transformer 效能優化

這幾天玩下來,大家應該都有發現到一個問題,就是 Transformer 的效能不是太好,尤其你要在大吞吐量下運作,想必是非常的耗費運算資源。更不用說在不久的將來...