『 凌晨四點不一定要吃牛肉麵,玩一下 Kubernetes 也不錯 』
這個系列以 DRA 正式釋出為契機,想用三十天研究 Kubernetes X GPU X AI Infra。
內容將涵蓋 GPU 怎麼進到容器裡、DRA 動態資源配置、排程、高效能網路、推論引擎、KV cache、閘道與服務平台等技術,透過三十天希望能產出屬於我的筆記。
這三十天會用兩套叢集做實驗:假卡驗機制,真卡驗效果。
前言 凌晨四點,多數人還沉浸於夢鄉之中,儘管未到破曉之時,相信已經有許多人悄悄睜開雙眼,享受這靜謐的城市。 凌晨四點,或許派大星剛享用完他的美味蟹堡,或許哲哲正...