iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0 Like 0 留言 1839 瀏覽

鐵人賽 AI & Data DAY 27

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 27 篇

技術 # Day27-Transformer 效能優化

這幾天玩下來，大家應該都有發現到一個問題，就是 Transformer 的效能不是太好，尤其你要在大吞吐量下運作，想必是非常的耗費運算資源。更不用說在不久的將來...

大魔術熊貓工程師 ‧ 2022-10-12

1 Like 0 留言 1818 瀏覽

鐵人賽 AI & Data DAY 20

邁向成為語言資料科學家的偉大航道系列第 20 篇

技術【NLP】Day 20: 放點注意力在多頭上（NLP也有多頭啊！）：Transformer（下）

空頭不死，多頭不止；多頭不死，空頭不止不詳在股票市場中，人人著稱的一句話：「空頭不死，多頭不止；多頭不死，空頭不止。」意思是，如果股價在下降的趨勢時中，如...

milanochuang ‧ 2022-10-05 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 1741 瀏覽

鐵人賽自我挑戰組 DAY 26

30天初步了解自然語言處理-自學筆記系列第 26 篇

技術 [Day26] NLP會用到的模型(九)-實作transformer-上

一. 資料準備這次任務是實作機器翻譯，資料: http://www.manythings.org/anki/ 可以找中翻英的data，可以找cmn-eng/c...

eating ‧ 2021-09-26

2 Like 1 留言 1565 瀏覽

鐵人賽 AI & Data DAY 2

LLM 學習筆記系列第 2 篇

技術 LLM Note Day 2 - 神經網路語言模型

簡介透過文本捕捉語言結構，進而建立一個統計機率模型，廣義而言就可以被稱作一種語言模型。本文主要介紹透過神經網路訓練出來的語言模型，以及常見 Transform...

大歐派蘿莉 ‧ 2023-09-17 ‧團隊消波塊上的海洋貓貓

0 Like 0 留言 1449 瀏覽

鐵人賽 AI & Data DAY 23

邁向成為語言資料科學家的偉大航道系列第 23 篇

技術【NLP】Day 23: 幫你解決各類NLP任務的BERT，以及其他在芝麻街的好捧油們（下）

真正掌握權力的人，通常都躲在表面上有權力的人後面，操控著一切。法蘭西斯・安德伍德《紙牌屋》這幾天在研究 BERT 的時候想著，如果要拿流行文化來比喻的話，...

milanochuang ‧ 2022-10-08 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 1385 瀏覽

鐵人賽 AI & Data DAY 28

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 28 篇

技術 # Day28- Hugging Face Optimum Quantization

Quantization 是目前優化模型效能很常見的手法，簡單來說就是減少浮點數的精度範圍，使得模型更快更小，而我們可以透過 Optimum 很容易辦到這件事情...

大魔術熊貓工程師 ‧ 2022-10-13

0 Like 0 留言 1383 瀏覽

鐵人賽自我挑戰組 DAY 24

30天初步了解自然語言處理-自學筆記系列第 24 篇

技術 [Day24] NLP會用到的模型(七)-transformer encoder

一. encoder 架構如下: encoder的動作在於對input進行編碼，在一開始input會產生Q、K、V這三個矩陣，由上圖可知道，他會先進行多頭的se...

eating ‧ 2021-09-24

0 Like 0 留言 1367 瀏覽

鐵人賽 AI & Data DAY 24

變形金剛與抱臉怪---NLP 應用開發之實戰系列第 24 篇

技術 # Day24- Hugging Face Named Entity Recognition

今天我們來補充自然語言處理中的一個很重要的概念：Named Entity Recognition(NER)。一般翻譯為命名實體辨識、命名實體識別，或也有人翻成...

大魔術熊貓工程師 ‧ 2022-10-09

0 Like 0 留言 1306 瀏覽

鐵人賽 AI & Data DAY 19

邁向成為語言資料科學家的偉大航道系列第 19 篇

技術【NLP】Day 19: 注意！謝謝你的注意！Transformer （上）

如果我能看得更遠，那是因為站在巨人的肩膀上。牛頓經過了前幾天的旅程，相信大家對於運用在自然語言處理的神經網路，應該已經有了一定程度的認識。神經網路是深度學...

milanochuang ‧ 2022-10-04 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 1230 瀏覽

鐵人賽自我挑戰組 DAY 23

30天初步了解自然語言處理-自學筆記系列第 23 篇

技術 [Day23] NLP會用到的模型(六)-transformer架構

一. 介紹 transformer就是像前述介紹的，他就是一個seq2seq model，將一個序列轉成另一個序列，中間都是由前一天所說self-attenti...

eating ‧ 2021-09-23

0 Like 0 留言 794 瀏覽

技術徒手建立基於Pytorch的Transformer模型

安裝Pytorch pip3 install torch torchvision torchaudio 或在Conda環境可以使用以下程式碼： conda i...

AlbertShiu ‧ 2023-10-18

0 Like 0 留言 546 瀏覽

鐵人賽自我挑戰組 DAY 6

30天從零開始學習NLP(自然語言處理) 系列第 6 篇

技術 Day 6 - NLP常用的Transformer模型 -- 簡介篇

"Transformer模型" 是一種深度學習架構，最初由Google於2017年提出。它是一種用於處理序列數據的神經網絡架構，特別在自然語...

肉彈 ‧ 2023-09-21

0 Like 0 留言 476 瀏覽

技術訓練Pytorch的Transformer模型

樣本資料準備 ''' Hyperparameters: These values define the architecture and behavior of...

AlbertShiu ‧ 2023-10-19

0 Like 0 留言 470 瀏覽

鐵人賽自我挑戰組 DAY 7

30天從零開始學習NLP(自然語言處理) 系列第 7 篇

技術 Day 7 - Transformer模型 -- 架構篇(1)

Transformer 模型架構主要由兩個區塊組成，左側是 Encoder(編碼器)，右側是 Decoder(解碼器) (這邊先簡單說明，下一章節回詳細解析兩...

肉彈 ‧ 2023-09-22

0 Like 0 留言 454 瀏覽

鐵人賽自我挑戰組 DAY 9

30天從零開始學習NLP(自然語言處理) 系列第 9 篇

技術 Day 9 - Transformer模型 -- 架構篇(3)

以上圖出自李謦伊今天我們要細講 Transformer 模型架構的 Decoder(解碼器) 的部分，也就是圖中的右半部，這邊會說明它跟 Encoder 的...

肉彈 ‧ 2023-09-24

0 Like 0 留言 452 瀏覽

技術 Transformer訓練程式碼

訓練過程 from torch.utils.data import DataLoader from transformers import AutoModelF...

AlbertShiu ‧ 2023-10-23

0 Like 0 留言 403 瀏覽

技術 Transformer訓練程式碼 PART2

訓練程式碼 part.2 import torch from tqdm.auto import tqdm progress_bar = tqdm(range(...

AlbertShiu ‧ 2023-10-24

0 Like 0 留言 384 瀏覽

鐵人賽自我挑戰組 DAY 8

30天從零開始學習NLP(自然語言處理) 系列第 8 篇

技術 Day 8 - Transformer模型 -- 架構篇(2)

今天我們要細講 Transformer 模型架構的 Encoder(編碼器) 的部分，也就是圖中的左半部，那我們就一一剖析裡面的每一層在做哪些事情以上圖出自...

肉彈 ‧ 2023-09-23

0 Like 0 留言 302 瀏覽

鐵人賽 AI & Data DAY 6

淺談生成式AI與相關應用工具探索系列第 6 篇

技術【Day6】淺談Transformer-跟變形金剛一樣強大

Transformer是一種深度學習模型架構，最初由Google Brain團隊在2017年發表了一篇論文 Attention Is All You Need...

科科 ‧ 2023-09-21