iT邦幫忙

eating
iT邦新手 4 級 ‧ 點數 401
AI engineer
4735
累計瀏覽數
站內簡訊 追蹤

鐵人檔案

2021 iThome 鐵人賽
回列表
自我挑戰組

30天初步了解自然語言處理-自學筆記 系列

NLP模型最近越來越紅，也越來越多應用於企業當中，希望藉由30天的時間，好好整理一下過去自己學習到的自然語言處理相關知識

鐵人鍊成 ｜ 共 30 篇文章 ｜ 16 人訂閱 訂閱系列文 RSS系列文
0 Like 0 留言 1733 瀏覽
DAY 21

[Day21] NLP會用到的模型(四)-Seq2Seq

一. Sequence to Sequence 在說明transformer之前，先介紹一下何謂Sequence to Sequence的模型。Sequence...

2021-09-21 ‧ 由 eating 分享
0 Like 0 留言 1038 瀏覽
DAY 22

[Day22] NLP會用到的模型(五)-self-attention

一. self-attention的編碼方式 昨天說明了注意力主要是要明確算出input與output之間相關的資訊量，那怎麼算呢，這邊我會說明現在最常使用的s...

2021-09-22 ‧ 由 eating 分享
0 Like 0 留言 1227 瀏覽
DAY 23

[Day23] NLP會用到的模型(六)-transformer架構

一. 介紹 transformer就是像前述介紹的，他就是一個seq2seq model，將一個序列轉成另一個序列，中間都是由前一天所說self-attenti...

2021-09-23 ‧ 由 eating 分享
0 Like 0 留言 1381 瀏覽
DAY 24

[Day24] NLP會用到的模型(七)-transformer encoder

一. encoder 架構如下: encoder的動作在於對input進行編碼，在一開始input會產生Q、K、V這三個矩陣，由上圖可知道，他會先進行多頭的se...

2021-09-24 ‧ 由 eating 分享
0 Like 0 留言 4179 瀏覽
DAY 25

[Day25] NLP會用到的模型(八)-transformer decoder

一. decoder 架構如下: decoder主要是解析encoder的資訊，轉換成output的形式decoder分成下面三個子層: Masked Mul...

2021-09-25 ‧ 由 eating 分享
0 Like 0 留言 1737 瀏覽
DAY 26

[Day26] NLP會用到的模型(九)-實作transformer-上

一. 資料準備 這次任務是實作機器翻譯，資料: http://www.manythings.org/anki/ 可以找中翻英的data，可以找cmn-eng/c...

2021-09-26 ‧ 由 eating 分享
0 Like 0 留言 2016 瀏覽
DAY 27

[Day27] NLP會用到的模型(十)-實作transformer-下

一. 建立decoder 昨天已建立完decoder的部分，我上面有一些註釋，希望多少可以幫助理解程式碼 decoder class，流程與Day25介紹的d...

2021-09-27 ‧ 由 eating 分享
0 Like 0 留言 2263 瀏覽
DAY 28

[Day28] BERT(一)

一. 介紹 Bert全名為Bidirectional Encoder Representation from Transformers，目前Bert與其他以BE...

2021-09-28 ‧ 由 eating 分享
0 Like 0 留言 2507 瀏覽
DAY 29

[Day29] BERT(二)

一. 預訓練的BERT 接下來會介紹hugging face這個團隊提供的BERT的套件來做介紹~BERT的model本質本來就是預訓練模型。今天主要介紹 Be...

2021-09-29 ‧ 由 eating 分享
0 Like 0 留言 1957 瀏覽
DAY 30

[Day30] BERT(三)

一. Fine-tine BERT 昨天是直接利用pretrained過的bert直接將句子轉成編碼的形式，今天主要會說明Fine-tune BERT的任務，F...

2021-09-30 ‧ 由 eating 分享
eating的鐵人檔案
eating的收藏
eating的追蹤
eating的Like
eating的紀錄
eating的訂閱列表