iT邦幫忙

flash attention相關文章
共有 1 則文章
鐵人賽 AI & Data
LLM 學習筆記 系列 第 31

技術 LLM Note Day 31 - Flash Attention

簡介 最近 Hugging Face Transformers 整合了 Flash Attention 2,可以減少記憶體消耗並提昇模型運算的速度,且使用方式非...