[自然語言處理NLP]BERT系列Model的應用、訓練技巧與實戰 系列

2018年，BERT旋風襲捲自然語言處理（NLP）界，此後迅速成為SOTA模型被應用於各NLP任務中。BERT的核心思想是「Transformer」模型架構與「預訓練語言模型」這兩個概念，至今仍然是NLP領域的主要范式，無法被超越。雖然BERT效果好，得到廣泛使用，但從BERT被發明到現在也已過去了三年時間。三年時間，研究者們做了哪些改善？如何讓BERT引領的思潮繼續發揮更大更強的作用？

本主題系列文章將著重探討最新的BERT相關模型（包括不限於RoBERTa, DeBERTa, BART, Longformer等等）的應用方式、訓練技巧，一切為了實戰。