iT邦幫忙

pagedattention相關文章
共有 1 則文章
1 Like 0 留言 439 瀏覽
鐵人賽 生成式 AI DAY 13
Local LLM infra & Inference 一部曲 系列 第 13 篇

技術 Day13 - 壓榨完GPU換壓榨VRAM：PagedAttention

前言 在 Day6 的時候我們提到當context length越長，KV cache也會越大，分配KV cache也成為一個挑戰的工作 🧠。在 Day12 學...

母湯小精靈 ‧ 2024-09-14 ‧團隊為了AI而AI
iThome鐵人賽
參賽組數
1064 組
團體組數
40 組
累計文章數
22195 篇
完賽人數
600 人
iT+看影片追技術 看影片追技術 看更多
熱門tag 看更多
15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽 鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js
熱門問題
熱門回答
熱門文章
IT邦幫忙