iT邦幫忙

bitsandbytes相關文章
共有 1 則文章
鐵人賽 AI & Data DAY 14
LLM 學習筆記 系列 第 14

技術 LLM Note Day 14 - 量化 Quantization

簡介 量化 (Quantization) 是我們這些平民 LLM 玩家最好的夥伴,一般模型在訓練時多使用 32-Bit 或 16-Bit 的浮點數,即便是 7B...