iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0 Like 0 留言 3265 瀏覽

鐵人賽 AI & Data DAY 19

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 19 篇

技術 # Day19-Hugging Face 文本生成進階

今天我們來講講怎麼優化文本生成。 Greedy Search 所謂的貪婪搜尋，在 Hugging Face 就不用自己實做了，只要設定這樣子的參數就可以了：n...

大魔術熊貓工程師 ‧ 2022-10-04

0 Like 0 留言 4973 瀏覽

鐵人賽 AI & Data DAY 18

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 18 篇

技術 # Day18-Hugging Face 文本生成入門

今天我們來講文本生成(Text generation)。文本生成是迭代來完成的，預測「I have a pen, I have an ......」的下一個字機...

大魔術熊貓工程師 ‧ 2022-10-03

0 Like 0 留言 2985 瀏覽

鐵人賽 AI & Data DAY 17

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 17 篇

技術 # Day17-Transformer 的種類

Transformer 內有一組很關鍵的機制，是一種 encoder-decoder 的架構。 Encoder 主要扮演的角色是把輸入的一連串的 token 轉...

大魔術熊貓工程師 ‧ 2022-10-02

1 Like 0 留言 7453 瀏覽

鐵人賽 AI & Data DAY 16

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 16 篇

技術 # Day16- Fine-tune Transformer --- 訓練模型篇

我們把昨天的 dataset 做好分詞之後，就可以來訓練自己的模型啦！載入 PyTorch 和使用 CUDA，然後再用 AutoModelForSequen...

大魔術熊貓工程師 ‧ 2022-10-01

1 Like 0 留言 4063 瀏覽

鐵人賽 AI & Data DAY 15

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 15 篇

技術 # Day15- Fine-tune Transformer --- 資料處理篇

這幾天我們做完了一個完整的文本分類的 transformer 了，但是我們做的內容，都是直接呼叫人家做好的 pre-trained model。其訓練的資料內容...

大魔術熊貓工程師 ‧ 2022-09-30

0 Like 0 留言 3975 瀏覽

鐵人賽 AI & Data DAY 14

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 14 篇

技術 # Day14-Hugging Face Transformer Pipeline 和 TF model

昨天我們做完了一個完整的文本分類的 transformer 了，也準確地預測具有負面意義的詩句，真的是太厲害了。今天我們來看看更方便的 Transformer...

大魔術熊貓工程師 ‧ 2022-09-29

1 Like 0 留言 4609 瀏覽

鐵人賽 AI & Data DAY 13

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 13 篇

技術 # Day13-Hugging Face Transformer 入門

Transformer 是當代自然語言處理最重要的技術了，如果您對於 Word2vec、RNN、seq2seq 等等之類的技術不太熟悉，那麼就先放著沒關係，之後...

大魔術熊貓工程師 ‧ 2022-09-28

1 Like 0 留言 7514 瀏覽

鐵人賽 AI & Data DAY 12

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 12 篇

技術 # Day12-Hugging Face Tokenizer

我們昨天講了一大堆的分詞理論，如果無法消化吸收也沒有關係，就當做是惡夢一場，忘了吧！今天我們來用 Hugging Face Tokenizer Library，...

大魔術熊貓工程師 ‧ 2022-09-27

1 Like 0 留言 6305 瀏覽

鐵人賽 AI & Data DAY 11

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 11 篇

技術 # Day11-當代的 Tokenizer algorithm

昨天我們提到了兩種古典的分詞分式：Character tokenization 和 Word tokenization。然後我們很快發現其盲點，Characte...

大魔術熊貓工程師 ‧ 2022-09-26

1 Like 0 留言 9061 瀏覽

鐵人賽 AI & Data DAY 10

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 10 篇

技術 # Day10-Tokenizer 入門

在自然語言處理的領域，tokenization 一般會翻譯做分詞，而 tokenizer 一般會翻譯成分詞器。但是在許多程式設計的領域，會把 tokenizat...

大魔術熊貓工程師 ‧ 2022-09-25

0 Like 0 留言 4023 瀏覽

鐵人賽 AI & Data DAY 9

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 9 篇

技術 # Day9-載入極巨大的 Dataset -- Stream 篇

昨天 Hugging Face 裡透過 Arrow 和 Stream 兩種機制，讓我們可以有效率的來操作資料，今天我們就來看看 Stream 的部份吧 Stre...

大魔術熊貓工程師 ‧ 2022-09-24

0 Like 0 留言 4652 瀏覽

鐵人賽 AI & Data DAY 8

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 8 篇

技術 # Day8-載入極巨大的 Dataset -- Arrow 篇

一般訓練模型上，都會建議採用 transfer learning ，可以參考 Day 1 的內容實務，可以節省更多的時間和運算資料。但是如果自己重頭訓練模型的時...

大魔術熊貓工程師 ‧ 2022-09-23

0 Like 0 留言 6951 瀏覽

鐵人賽 AI & Data DAY 7

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 7 篇

技術 # Day7-載入自己的 Dataset

昨天我們練習了用 Hugging Face Datasets Library 來把 Hugging Face Hub 上的 dataset 載下來，今天我們來試...

大魔術熊貓工程師 ‧ 2022-09-22

0 Like 0 留言 6719 瀏覽

鐵人賽 AI & Data DAY 6

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 6 篇

技術 # Day6-初探 Hugging Face Dataset Library

今天我們終於要再繼續寫程式了，沿續使用昨天的 poem_sentiment 這個 dataset。 Hugging Face Datasets Library...

大魔術熊貓工程師 ‧ 2022-09-21

0 Like 0 留言 6273 瀏覽

鐵人賽 AI & Data DAY 5

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 5 篇

技術 # Day5-Hugging Face Hub Dataset

還記得我們在第三天第四天做了的情感分析嗎？判斷句子是 Positive 還是 Negative 這是屬於 text classification 的範圍，算是自...

大魔術熊貓工程師 ‧ 2022-09-20

0 Like 0 留言 6747 瀏覽

鐵人賽 AI & Data DAY 4

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 4 篇

技術 # Day4-Hugging Face 雲端開發環境設定

在第一天有講過，如果本地端電腦沒有 GPU 的話，也可以考慮雲端環境。而實務上，因為雲端的高度彈性，往往會選用雲端環境來做開發測試。至於為什麼該使用雲端，這個又...

大魔術熊貓工程師 ‧ 2022-09-19

1 Like 0 留言 8951 瀏覽

鐵人賽 AI & Data DAY 3

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 3 篇

技術 # Day3-Hugging Face 本地端開發環境設定

由於自然語言的訓練往往非常的耗時，建議你有 GPU 會比較節省時間，當然沒有也是可以的，只是會等待比較長的時間。如果你本地的電腦有 GPU 環境的話，那麼我們就...

大魔術熊貓工程師 ‧ 2022-09-18

4 Like 1 留言 34464 瀏覽

鐵人賽 AI & Data DAY 2

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 2 篇

技術 # Day2-Hugging Face 架構與三大神器

Hugging Face 是開源的 Hugging Face 有完整的生態系和社群，我們幾乎可以只使用 Hugging Face ，就做完大部份最困難的 Tra...

大魔術熊貓工程師 ‧ 2022-09-17

4 Like 0 留言 9393 瀏覽

鐵人賽 AI & Data DAY 1

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 1 篇

達標好文技術 # Day1-變形金剛與抱臉怪的基本介紹

寫在最前面本系列文的標題「變形金剛與抱臉怪---NLP 應用開發之實戰」，只是為了譁眾取寵，這系列是要講 Transformer 與 Hugging Face...

大魔術熊貓工程師 ‧ 2022-09-16

0 Like 0 留言 2445 瀏覽

鐵人賽自我挑戰組 DAY 27

30天初步了解自然語言處理-自學筆記系列第 27 篇

技術 [Day27] NLP會用到的模型(十)-實作transformer-下

一. 建立decoder 昨天已建立完decoder的部分，我上面有一些註釋，希望多少可以幫助理解程式碼 decoder class，流程與Day25介紹的d...

eating ‧ 2021-09-27

0 Like 0 留言 2125 瀏覽

鐵人賽自我挑戰組 DAY 26

30天初步了解自然語言處理-自學筆記系列第 26 篇

技術 [Day26] NLP會用到的模型(九)-實作transformer-上

一. 資料準備這次任務是實作機器翻譯，資料: http://www.manythings.org/anki/ 可以找中翻英的data，可以找cmn-eng/c...

eating ‧ 2021-09-26

0 Like 0 留言 4859 瀏覽

鐵人賽自我挑戰組 DAY 25

30天初步了解自然語言處理-自學筆記系列第 25 篇

技術 [Day25] NLP會用到的模型(八)-transformer decoder

一. decoder 架構如下: decoder主要是解析encoder的資訊，轉換成output的形式decoder分成下面三個子層: Masked Mul...

eating ‧ 2021-09-25

0 Like 0 留言 1723 瀏覽

鐵人賽自我挑戰組 DAY 24

30天初步了解自然語言處理-自學筆記系列第 24 篇

技術 [Day24] NLP會用到的模型(七)-transformer encoder

一. encoder 架構如下: encoder的動作在於對input進行編碼，在一開始input會產生Q、K、V這三個矩陣，由上圖可知道，他會先進行多頭的se...

eating ‧ 2021-09-24

0 Like 0 留言 1521 瀏覽

鐵人賽自我挑戰組 DAY 23

30天初步了解自然語言處理-自學筆記系列第 23 篇

技術 [Day23] NLP會用到的模型(六)-transformer架構

一. 介紹 transformer就是像前述介紹的，他就是一個seq2seq model，將一個序列轉成另一個序列，中間都是由前一天所說self-attenti...

eating ‧ 2021-09-23

0 Like 0 留言 8167 瀏覽

鐵人賽 AI & Data DAY 6

[自然語言處理NLP]BERT系列Model的應用、訓練技巧與實戰系列第 6 篇

技術【Day 6】BERT由Transformer模型構建而成

前五天，我們講解了BERT模型的核心概念、輸入輸出以及模型的類型，現在讓我們進入模型的結構、原理部分，來談一談作為BERT模型的原始架構的Transformer...

wow1310s ‧ 2021-09-09

0 Like 0 留言 3302 瀏覽

鐵人賽自我挑戰組

AI 高中生的自我學習系列第 23 篇

技術 Day 23 - 天眼CNN 的耳朵和嘴巴 - Transformer

RNN問題及解法 RNN 有字數限制, 最多到200字, 超過效果不好。The fall of RNN / LSTM 針對基於CNN和RNN的Seq2Seq模型...

Harry Lin ‧ 2020-12-23