技術 Day14 - CPU還沒壓榨也壓榨一下：Offloading

前言 昨天的文章中，實現作業系統的虛擬記憶體的其中一個步驟是page swapping 🔄，也就是將記憶體裡面的部分內容與硬碟做交換，以便在實體記憶體不足時，將...

技術 LLM Note Day 19 - Offloading Inference

簡介 Offloading Inference 主要在探討如何讓 GPU 與其他裝置一起協同推論，例如有些運算放在 CPU，有些記憶體暫存在硬碟裡面。這類的方法...