技術 LLM Note Day 14 - 量化 Quantization

簡介 量化 (Quantization) 是我們這些平民 LLM 玩家最好的夥伴，一般模型在訓練時多使用 32-Bit 或 16-Bit 的浮點數，即便是 7B...

技術 LLM Note Day 32 - AutoGPTQ

簡介 GPTQ 是透過 Post-Training 的方式對模型進行量化，其準確率與速度通常比 bitsandbytes (BNB) 4-Bit 好一些，是個相...