iT邦幫忙

autogptq相關文章
共有 1 則文章
鐵人賽 AI & Data
LLM 學習筆記 系列 第 32

技術 LLM Note Day 32 - AutoGPTQ

簡介 GPTQ 是透過 Post-Training 的方式對模型進行量化,其準確率與速度通常比 bitsandbytes (BNB) 4-Bit 好一些,是個相...