技術 【Day 1】誰是BERT？如何BERT？BERT的基礎介紹

從芝麻街角色到改變NLP的模型 如果你用Google以「BERT」作為關鍵字搜尋圖片，那麼你會發現一個奇特的現象：一隻黃色的玩偶與奇怪的網狀結構模型混雜在一起。...

技術 【Day 2】詞嵌入與BERT的輸入

如何從實戰層面認識BERT BERT的研究與應用可以分為不同的層次。你可以鑽研BERT的模型技術細節，瞭解它為什麼這麼有效，甚至可以發現其中有問題的設計來加以改...

技術 【Day 3】BERT的輸出與它們的意義

BERT輸出了什麼？ 回應上一篇關於詞嵌入Token Embedding的討論，BERT的輸出就是文本序列中每個詞單位的高維向量表示，你也可以把它當成一連串抽取...

技術 Day 24 - 天眼CNN 的耳朵和嘴巴 - BERT

BERT 全名為 Bidirectional Encoder Representations from Transformers BERT: Pre-train...

技術 【Day 4】輸出之後，BERT轉換的Embedding怎麼用？

在此之前，我們已經介紹過BERT的核心概念遷移學習Transfer Learning以及它的輸入輸出。那麼接下來的問題就是BERT將詞語轉換為包含了上下文資訊的...

技術 【NLP】Day 24: 欸！BERT！你在幹嘛呀？BERT 模型實作＆程式碼解析

別想太多，做就對了！《捍衛戰士：獨行俠》 前兩天我們已經了解 BERT 的內部運作，還有 BERT 在進行語言處理上的一些缺陷。今天不聊理論，我們來簡單一一...

技術 【Day 7】BERT的[CLS]真的能代表句義嗎？

恭喜，BERT模型的基礎部分已經講解到昨日為止了，接下來我們來談一些質疑、檢討、改進基礎BERT的內容。今天我們來講解一個頗有爭議的問題：[CLS]是否真的能代...

技術 【Day 5】BERT家族的成員們

當本系列文章提到BERT時，最初是指Google所開發的BERT，但後續基本就是指所有運用Transformer和預訓練模式的語言模型。今天這篇文章就是在廣義的...

技術 【Day 8】Adaptation！適應！讓BERT更好地過渡到下游任務！

今天開始，我們要進入一個新的主題「Adaptation」。這是指在預訓練模型和Fine-tune之間對模型額外做一個「適應」（Adaptation）的動作，讓B...

技術 [Day29] BERT(二)

一. 預訓練的BERT 接下來會介紹hugging face這個團隊提供的BERT的套件來做介紹~BERT的model本質本來就是預訓練模型。今天主要介紹 Be...

技術 【Day 9】預訓練任務大改：Splinter在QA任務上的成功嘗試

BERT系列的預訓練模型一個個出，RoBERTa、XLNet、DeBERTa等等一個比一個更能打，刷新著自然語言理解的GLUE榜單。這些都是通用型的預訓練語言模...

技術 [Day28] BERT(一)

一. 介紹 Bert全名為Bidirectional Encoder Representation from Transformers，目前Bert與其他以BE...

技術 [Day30] BERT(三)

一. Fine-tine BERT 昨天是直接利用pretrained過的bert直接將句子轉成編碼的形式，今天主要會說明Fine-tune BERT的任務，F...

技術 【NLP】Day 20: 放點注意力在多頭上（NLP也有多頭啊！）：Transformer（下）

空頭不死，多頭不止；多頭不死，空頭不止不詳 在股票市場中，人人著稱的一句話：「空頭不死，多頭不止；多頭不死，空頭不止。」意思是，如果股價在下降的趨勢時中，如...

技術 【NLP】Day 23: 幫你解決各類NLP任務的BERT，以及其他在芝麻街的好捧油們（下）

真正掌握權力的人，通常都躲在表面上有權力的人後面，操控著一切。法蘭西斯・安德伍德《紙牌屋》 這幾天在研究 BERT 的時候想著，如果要拿流行文化來比喻的話，...

技術 【NLP】Day 19: 注意！謝謝你的注意！Transformer （上）

如果我能看得更遠，那是因為站在巨人的肩膀上。牛頓 經過了前幾天的旅程，相信大家對於運用在自然語言處理的神經網路，應該已經有了一定程度的認識。神經網路是深度學...