iT邦幫忙

offloading inference相關文章
共有 2 則文章
鐵人賽 生成式 AI DAY 14

技術 Day14 - CPU還沒壓榨也壓榨一下:Offloading

前言 昨天的文章中,實現作業系統的虛擬記憶體的其中一個步驟是page swapping 🔄,也就是將記憶體裡面的部分內容與硬碟做交換,以便在實體記憶體不足時,將...

鐵人賽 AI & Data DAY 19
LLM 學習筆記 系列 第 19

技術 LLM Note Day 19 - Offloading Inference

簡介 Offloading Inference 主要在探討如何讓 GPU 與其他裝置一起協同推論,例如有些運算放在 CPU,有些記憶體暫存在硬碟裡面。這類的方法...