技術 使用 HF Transformers 對 KV 快取量化

簡介 昨天 Hugging Face Transformers 發布 v4.42 版，其中 Quantized KV Cache 這個功能特別吸引我，看到量化就...