本系列將從系統工程的角度,介紹現代 ML Infrastructure 背後的重要概念,內容涵蓋資料表示與傳輸、分散式執行環境、Execution Engine、資源排程、記憶體管理與 GPU 運算等主題,並延伸至現代模型 Serving。系列透過 Ray、Kubernetes、vLLM 等實際系統作為案例,理解 Data Locality、Backpressure、Task Scheduling、Object Store、Operator Fusion、Parallelism 等核心設計,建立一套能延伸到不同資料與機器學習系統的武功秘笈!
前言 大家好,我是 Vic,很高興又能繼續參加鐵人賽連載,這次是跟隨著我們團隊:源來適愛開緣 一同連載,期望這三十天大家都能開開心心學技術,寫技術文章,將我們源...