系列文章
【Day 21】萬物皆可Transformer(下) - 使用Transformer找出文本中重要的訊息
前言 今天我們將主要實現出Transformer的完整的Encoder與Decoder架構，而這次的程式碼可說是我們在這30天內接觸的最複雜程序，因為他不僅需要...
【Day 22】因為站在巨人的肩膀上才能眺望更遠的風景(上)-BERT的出現與溫故知新的重要性
前言 在過去的兩天我們學習到了Transformer的理論與實作程式碼，不過我們所使用的Transfomer是完整的Encoder-Decoder架構所以他的模...
【Day 23】因為站在巨人的肩膀上才能眺望更遠的風景(下)-使用SQuAD做QA問答
前言 今天我們將會來完成最後一個NLP的任務QA問答，不過你可能會想BERT只有Encoder所以它無法生成文字，那它要怎麼進行回答呢?與Seq2Seq、Cha...
【Day 24】用暴力美學屹立於不敗之地(上) - GPT家族的霸道之路
前言 若把BERT視為Transformer Encoder的代表，那麼GPT則可以說是Decoder的最佳代表，不過基於Decoder的模型會有一些小問題存在...
【Day 25】用暴力美學屹立於不敗之地(下) - 用GPT-J來告訴你大型語言模型該如何用LoRA微調
前言 雖然GPT可以像BERT一樣利用起始與結尾進行訓練，但這樣會讓今天的內容顯得無趣，因此我將用ChatGPT的概念讓GPT-J在閱讀完SQuAD的文章後進行...
【Day 26】當今最強大的SOTA模型ChatGPT(上)-prompt?instruction?RLHF?
前言 我們常在與ChatGPT相關的文章中看到prompt、instruction、RLHF等名詞，而這些技術在ChatGPT中擔任相當重要的角，今天我們就要來...
【Day 27】當今最強大的SOTA模型ChatGPT(下)-讓ChatGPT成為你的私人助理
前言 ChatGPT雖然有提供API供我們使用，但在這部分我們是無法對模型進行微調的，所以我們需要使用不同的方式來讓ChatGPT針對某項任務進行處理。而在這裡...
【Day 28】ChatGPT的挑戰者LLaMA(上) - 目前最強大的開源語言模型LLaMA究竟做了什麼
前言 近期中研院運用了一個名為Llama-2-7b的模型來對兩個資料集：COIG-PC和dolly-15k進行微調，但由於這些資料都是簡體中文，因此在上線時引發...
【Day 29】ChatGPT的挑戰者LLaMA(下) - 用RLHF與QLoRA調整大型語言模型
前言 終於來到我們這個系列的最後一個階段啦~今天的主要內容是教你如何運用RLHF與QLoRA來調整這些龐大的語言模型。在這個部分裡，如果你在網路上查詢資料，可能...
【Day 30】自然語言處理的旅程總結與未來學習方向
在這30天內我們學習了什麼? 在最後一天的這個時間我們就不學習新東西了，而是回想一下在過去30天內每一個章節中該理解什麼、學會甚麼，因此在這理我將會幫你整理出我...