iT邦幫忙

batch inference相關文章
共有 1 則文章
鐵人賽 AI & Data DAY 17
LLM 學習筆記 系列 第 17

技術 LLM Note Day 17 - vLLM & Paged Attention

簡介 vLLM 是來自 UC Berkeley 的 Woosuk Kwon 和 Zhuohan Li 所製作的推論框架,使用 Paged Attention 技...