鐵人檔案
近幾個月來，因ChatGPT的出現，推動了NLP領域的發展。
在本次鐵人賽的挑戰中，我會通過這30天的時間來講述NLP領域中的熱門模型背後的技術原理(例如:Transformer、BERT、GPT)，並從實際的應用中，來撰寫這些模型的程式碼，以加深我們對該模型的映象。
同時我會還會使用不同的工具，來分析這些文字之間的關聯性，並對此結果加以解釋，從而一步步的理解NLP模型中的共同之處與運算方式。
前言 今天我們將主要實現出Transformer的完整的Encoder與Decoder架構，而這次的程式碼可說是我們在這30天內接觸的最複雜程序，因為他不僅需要...
前言 在過去的兩天我們學習到了Transformer的理論與實作程式碼，不過我們所使用的Transfomer是完整的Encoder-Decoder架構所以他的模...
前言 今天我們將會來完成最後一個NLP的任務QA問答，不過你可能會想BERT只有Encoder所以它無法生成文字，那它要怎麼進行回答呢?與Seq2Seq、Cha...
前言 若把BERT視為Transformer Encoder的代表，那麼GPT則可以說是Decoder的最佳代表，不過基於Decoder的模型會有一些小問題存在...
前言 雖然GPT可以像BERT一樣利用起始與結尾進行訓練，但這樣會讓今天的內容顯得無趣，因此我將用ChatGPT的概念讓GPT-J在閱讀完SQuAD的文章後進行...
前言 我們常在與ChatGPT相關的文章中看到prompt、instruction、RLHF等名詞，而這些技術在ChatGPT中擔任相當重要的角，今天我們就要來...
前言 ChatGPT雖然有提供API供我們使用，但在這部分我們是無法對模型進行微調的，所以我們需要使用不同的方式來讓ChatGPT針對某項任務進行處理。而在這裡...
前言 近期中研院運用了一個名為Llama-2-7b的模型來對兩個資料集：COIG-PC和dolly-15k進行微調，但由於這些資料都是簡體中文，因此在上線時引發...
前言 終於來到我們這個系列的最後一個階段啦~今天的主要內容是教你如何運用RLHF與QLoRA來調整這些龐大的語言模型。在這個部分裡，如果你在網路上查詢資料，可能...
在這30天內我們學習了什麼? 在最後一天的這個時間我們就不學習新東西了，而是回想一下在過去30天內每一個章節中該理解什麼、學會甚麼，因此在這理我將會幫你整理出我...
