技術 使用 HF Transformers 對 KV 快取量化

簡介 昨天 Hugging Face Transformers 發布 v4.42 版，其中 Quantized KV Cache 這個功能特別吸引我，看到量化就...

技術 LLM Note Day 24 - 語言模型微調 LLM Finetuning

簡介 接下來要來討論如何微調 (Finetune) 一個大型語言模型。微調 LLM 與微調其他模型其實很相似，但是因為 LLM 的參數量較大，所以訓練的最低需求...

技術 Day 17 - 使用 Transformers (8) - 處理多個序列(下半部)

當我們已經知道要怎麼透過 padding 的方法矩形張量，那我們就可以將它傳入模型進行批量處理。 但是假如我們將兩個句子分開傳遞給模型和一起傳入模型做批次處理，...

技術 Day 16 - 使用 Transformers (7) - 處理多個序列(上半部)

這部分我們要來說明如何處理長度不同的多個序列或是序列太長的問題 Batching (批次處理) 這個概念呢其實跟 Day12 最後給的完整範例有使用到，Batc...

技術 Day 14 - 使用 Transformers (5) - PostProcessing

今天我們要針對三個部份的最後一個部分 PostProcessing 來做說明 以上圖出自 Hugging Face 官方 PostProcessing這個動作事...

技術 Day 13 - 使用 Transformers (4) - Model

今天我們要針對三個部份的第二個部分 Model 來做說明 以上圖出自 Hugging Face 官方 我們要了解如何建立和使用模型，和 Tokenizer 有點...

技術 Day 12 - 使用 Transformers (3) - Tokenizer(下半部)

解碼 接著前一天的部分繼續說，昨天的整個流程是把自然語言文本再轉到數字 ID，那當然我們也可以把數字 ID 轉回自然語言文本，這個動作稱為 Decoding。...

技術 LLM Note Day 11 - 擁抱開源的微笑 Hugging Face Transformers

簡介 Hugging Face 🤗 Transformers 是訓練 Transformer 模型最知名的套件沒有之一，此套件收入了許多知名模型架構、訓練演算法...

技術 Day 11 - 使用 Transformers (2) - Tokenizer(上半部)

今天我們要針對昨天說到的三個部份的第一個部分 Tokenizer 來做說明 (會先講一半) 以上圖出自 Hugging Face 官方 Tokenizer 的主...

技術 Day 10 - 使用 Transformers (1)

在 Day5 的時候我們有提到 Hugging Face 的 Transformers 函式庫的一點介紹和例子，那這章會在深入它的相關使用和比較詳細的介紹。(裡...