iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0 Like 0 留言 194 瀏覽

鐵人賽自我挑戰組 DAY 29

30天從零開始學習NLP(自然語言處理) 系列第 29 篇

技術 Day 29 - NER 模型檔案內容

這篇我使用我之前上傳到 Hugging Face 的模型檔案來解說，那因為在模型訓練那部份我沒講到要如何上傳模型，因此等鐵人賽結束後我會再補充回去。介紹兩個重...

肉彈 ‧ 2023-10-14

0 Like 0 留言 504 瀏覽

鐵人賽自我挑戰組 DAY 25

深度學習的學習 & ASR 中文語音辨識系列第 25 篇

技術【Day 25】Fine-tuning 的一些準備 - huggingface 上的 Whisper model (cont.)

結果發現我在搞耍，前面的 librosa 下載到 base 環境補完之後依舊出現了其他問題 RuntimeError: Decoding 'mp3' files...

leo271828 ‧ 2023-10-10

0 Like 0 留言 621 瀏覽

鐵人賽自我挑戰組 DAY 24

深度學習的學習 & ASR 中文語音辨識系列第 24 篇

技術【Day 24】Fine-tuning 的一些準備 - huggingface 上的 Whisper model

就像上一篇說的，huggingface 上有許多模型可以下載來玩我們就來實際玩看看 huggingface 上的 openai/whisper-small 做為...

leo271828 ‧ 2023-10-09

0 Like 0 留言 425 瀏覽

鐵人賽自我挑戰組 DAY 23

深度學習的學習 & ASR 中文語音辨識系列第 23 篇

技術【Day 23】Fine-tuning 的一些準備 - huggingface

上一篇提到我們的模型出來的 CER 並不是非常理想，因此為了讓模型轉錄出來的結果更好，我們需要對模型進行 Fine-tuning，也就是微調我們的模型在那之前...

leo271828 ‧ 2023-10-08

2 Like 0 留言 2582 瀏覽

鐵人賽 AI & Data DAY 11

LLM 學習筆記系列第 11 篇

技術 LLM Note Day 11 - 擁抱開源的微笑 Hugging Face Transformers

簡介 Hugging Face 🤗 Transformers 是訓練 Transformer 模型最知名的套件沒有之一，此套件收入了許多知名模型架構、訓練演算法...

大歐派蘿莉 ‧ 2023-09-26 ‧團隊消波塊上的海洋貓貓

0 Like 0 留言 1371 瀏覽

鐵人賽 AI & Data DAY 24

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 24 篇

技術 # Day24- Hugging Face Named Entity Recognition

今天我們來補充自然語言處理中的一個很重要的概念：Named Entity Recognition(NER)。一般翻譯為命名實體辨識、命名實體識別，或也有人翻成...

大魔術熊貓工程師 ‧ 2022-10-09

0 Like 0 留言 1879 瀏覽

鐵人賽 AI & Data DAY 21

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 21 篇

技術 # Day21-Hugging Face 摘要任務入門

摘要（summarization）也是自然語言處理中很常見的任務之一，今天我們就來看看 Hugging Face 如何幫我們幫我們做摘要吧！ Encoder-D...

大魔術熊貓工程師 ‧ 2022-10-06

1 Like 0 留言 5460 瀏覽

鐵人賽 AI & Data DAY 16

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 16 篇

技術 # Day16- Fine-tune Transformer --- 訓練模型篇

我們把昨天的 dataset 做好分詞之後，就可以來訓練自己的模型啦！載入 PyTorch 和使用 CUDA，然後再用 AutoModelForSequen...

大魔術熊貓工程師 ‧ 2022-10-01

0 Like 0 留言 2997 瀏覽

鐵人賽 AI & Data DAY 14

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 14 篇

技術 # Day14-Hugging Face Transformer Pipeline 和 TF model

昨天我們做完了一個完整的文本分類的 transformer 了，也準確地預測具有負面意義的詩句，真的是太厲害了。今天我們來看看更方便的 Transformer...

大魔術熊貓工程師 ‧ 2022-09-29

1 Like 0 留言 3592 瀏覽

鐵人賽 AI & Data DAY 13

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 13 篇

技術 # Day13-Hugging Face Transformer 入門

Transformer 是當代自然語言處理最重要的技術了，如果您對於 Word2vec、RNN、seq2seq 等等之類的技術不太熟悉，那麼就先放著沒關係，之後...

大魔術熊貓工程師 ‧ 2022-09-28

1 Like 0 留言 5832 瀏覽

鐵人賽 AI & Data DAY 12

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 12 篇

技術 # Day12-Hugging Face Tokenizer

我們昨天講了一大堆的分詞理論，如果無法消化吸收也沒有關係，就當做是惡夢一場，忘了吧！今天我們來用 Hugging Face Tokenizer Library，...

大魔術熊貓工程師 ‧ 2022-09-27

1 Like 0 留言 4961 瀏覽

鐵人賽 AI & Data DAY 11

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 11 篇

技術 # Day11-當代的 Tokenizer algorithm

昨天我們提到了兩種古典的分詞分式：Character tokenization 和 Word tokenization。然後我們很快發現其盲點，Characte...

大魔術熊貓工程師 ‧ 2022-09-26

1 Like 0 留言 6559 瀏覽

鐵人賽 AI & Data DAY 10

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 10 篇

技術 # Day10-Tokenizer 入門

在自然語言處理的領域，tokenization 一般會翻譯做分詞，而 tokenizer 一般會翻譯成分詞器。但是在許多程式設計的領域，會把 tokenizat...

大魔術熊貓工程師 ‧ 2022-09-25

0 Like 0 留言 3081 瀏覽

鐵人賽 AI & Data DAY 9

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 9 篇

技術 # Day9-載入極巨大的 Dataset -- Stream 篇

昨天 Hugging Face 裡透過 Arrow 和 Stream 兩種機制，讓我們可以有效率的來操作資料，今天我們就來看看 Stream 的部份吧 Stre...

大魔術熊貓工程師 ‧ 2022-09-24

0 Like 0 留言 3529 瀏覽

鐵人賽 AI & Data DAY 8

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 8 篇

技術 # Day8-載入極巨大的 Dataset -- Arrow 篇

一般訓練模型上，都會建議採用 transfer learning ，可以參考 Day 1 的內容實務，可以節省更多的時間和運算資料。但是如果自己重頭訓練模型的時...

大魔術熊貓工程師 ‧ 2022-09-23

0 Like 0 留言 4964 瀏覽

鐵人賽 AI & Data DAY 6

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 6 篇

技術 # Day6-初探 Hugging Face Dataset Library

今天我們終於要再繼續寫程式了，沿續使用昨天的 poem_sentiment 這個 dataset。 Hugging Face Datasets Library...

大魔術熊貓工程師 ‧ 2022-09-21

0 Like 0 留言 4724 瀏覽

鐵人賽 AI & Data DAY 5

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 5 篇

技術 # Day5-Hugging Face Hub Dataset

還記得我們在第三天第四天做了的情感分析嗎？判斷句子是 Positive 還是 Negative 這是屬於 text classification 的範圍，算是自...

大魔術熊貓工程師 ‧ 2022-09-20

1 Like 0 留言 6740 瀏覽

鐵人賽 AI & Data DAY 3

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 3 篇

技術 # Day3-Hugging Face 本地端開發環境設定

由於自然語言的訓練往往非常的耗時，建議你有 GPU 會比較節省時間，當然沒有也是可以的，只是會等待比較長的時間。如果你本地的電腦有 GPU 環境的話，那麼我們就...

大魔術熊貓工程師 ‧ 2022-09-18

3 Like 1 留言 24176 瀏覽

鐵人賽 AI & Data DAY 2

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 2 篇

技術 # Day2-Hugging Face 架構與三大神器

Hugging Face 是開源的 Hugging Face 有完整的生態系和社群，我們幾乎可以只使用 Hugging Face ，就做完大部份最困難的 Tra...

大魔術熊貓工程師 ‧ 2022-09-17

4 Like 0 留言 7784 瀏覽

鐵人賽 AI & Data DAY 1

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 1 篇

達標好文技術 # Day1-變形金剛與抱臉怪的基本介紹

寫在最前面本系列文的標題「變形金剛與抱臉怪---NLP 應用開發之實戰」，只是為了譁眾取寵，這系列是要講 Transformer 與 Hugging Face...

大魔術熊貓工程師 ‧ 2022-09-16

1 Like 0 留言 1741 瀏覽

技術【報錯解法】load_dataset 沒讀到資料 - FileNotFoundError: Unable to resolve any data file that matches

程式碼 from datasets import load_dataset giga = load_dataset('gigaword') 報錯內容 File...

yaxuan ‧ 2022-04-21