『 凌晨四點不一定要吃牛肉麵,玩一下 Kubernetes 也不錯 』
這個系列以 DRA 正式釋出為契機,想用三十天研究 Kubernetes X GPU X AI Infra。
內容將涵蓋 GPU 怎麼進到容器裡、DRA 動態資源配置、排程、高效能網路、推論引擎、KV cache、閘道與服務平台等技術,透過三十天希望能產出屬於我的筆記。
這三十天會用兩套叢集做實驗:假卡驗機制,真卡驗效果。
前言 凌晨四點,多數人還沉浸於夢鄉之中,儘管未到破曉之時,相信已經有許多人悄悄睜開雙眼,享受這靜謐的城市。 凌晨四點,或許派大星剛享用完他的美味蟹堡,或許哲哲正...
相信學習一項新技術之前,最基本底子要先打好。就像派大星想組樂隊,卻不知道美乃滋跟芥末醬不是一種樂器,那這樣接下來學習的路會走得很艱辛。 Day 2 要來補一些基...
你的部門剛採購了一張 RTX 4090 好不容易把預算批下來,你的部門買了一張 RTX 4090,24GB 的記憶體,插在那台大家共用的機器上。 第一個來申請的...
終於來到 Day4 拉,今天的內容也是整個我展開這三十天的契機,也就是 DRA,全名 Dynamic Resource Allocation。DRA 在 Kub...
努力學習 DRA 的人都是戰士。昨天 Day4 我們介紹了 DRA 的一些基礎能做到的事,Day5 就來稍微玩一下他的進階功能吧,我們沿用昨天的環境,並把昨天建...
今天來點輕鬆的,沒有跑實驗純介紹,理由很簡單,因為有些東西我們跑不起。 Day 5 我們讓 DRA 把一張卡切成好幾塊,還讓兩個 Pod 分著用同一塊。但整個過...
DRA 讓「我要一張卡」變成叢集裡的一個物件,也讓多個 Pod 共用同一張卡變得可能。但那個共用是整張卡一起共用:幾個 Pod 參照同一份 ResourceCl...
前面幾天討論的都是「怎麼切」。DRA 讓使用者說得出要哪一張卡、要多少;HAMi 讓那個數字在容器裡被真正執行。 但這些機制都建立在同一個前提上:Pod 已經被...
昨天介紹的 Kueue 決定「這個 Job 現在該不該開始」:Job 建立時被設為暫停,取得額度並被准入後才解除暫停。但 Kueue 不負責 Pod 放到哪個節...
前面兩天的排隊是同一個形狀:資源不夠就等。 Kueue 問「你有沒有額度」,沒有就把 Job 壓在 suspend;Volcano 問「你湊不湊得齊」,湊不齊就...