iT邦幫忙

flexgen相關文章
共有 1 則文章
2 Like 0 留言 1548 瀏覽
鐵人賽 AI & Data DAY 19
LLM 學習筆記 系列 第 19 篇

技術 LLM Note Day 19 - Offloading Inference

簡介 Offloading Inference 主要在探討如何讓 GPU 與其他裝置一起協同推論，例如有些運算放在 CPU，有些記憶體暫存在硬碟裡面。這類的方法...

Penut Chen ‧ 2023-10-04 ‧團隊消波塊上的海洋貓貓
iThome鐵人賽
參賽組數
1064 組
團體組數
40 組
累計文章數
22192 篇
完賽人數
602 人
iT+看影片追技術 看影片追技術 看更多
熱門tag 看更多
15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽 鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js
熱門問題
熱門回答
熱門文章
IT邦幫忙