簡介 接下來要來討論如何微調 (Finetune) 一個大型語言模型。微調 LLM 與微調其他模型其實很相似,但是因為 LLM 的參數量較大,所以訓練的最低需求...
簡介 Hugging Face 🤗 Transformers 是訓練 Transformer 模型最知名的套件沒有之一,此套件收入了許多知名模型架構、訓練演算法...
簡介 昨天 Hugging Face Transformers 發布 v4.42 版,其中 Quantized KV Cache 這個功能特別吸引我,看到量化就...
在 Day5 的時候我們有提到 Hugging Face 的 Transformers 函式庫的一點介紹和例子,那這章會在深入它的相關使用和比較詳細的介紹。(裡...
解碼 接著前一天的部分繼續說,昨天的整個流程是把自然語言文本再轉到數字 ID,那當然我們也可以把數字 ID 轉回自然語言文本,這個動作稱為 Decoding。...
今天我們要針對昨天說到的三個部份的第一個部分 Tokenizer 來做說明 (會先講一半) 以上圖出自 Hugging Face 官方 Tokenizer 的主...
今天我們要針對三個部份的第二個部分 Model 來做說明 以上圖出自 Hugging Face 官方 我們要了解如何建立和使用模型,和 Tokenizer 有點...
這部分我們要來說明如何處理長度不同的多個序列或是序列太長的問題 Batching (批次處理) 這個概念呢其實跟 Day12 最後給的完整範例有使用到,Batc...
今天我們要針對三個部份的最後一個部分 PostProcessing 來做說明 以上圖出自 Hugging Face 官方 PostProcessing這個動作事...
當我們已經知道要怎麼透過 padding 的方法矩形張量,那我們就可以將它傳入模型進行批量處理。 但是假如我們將兩個句子分開傳遞給模型和一起傳入模型做批次處理,...