iT邦幫忙

鐵人檔案

2026 iThome 鐵人賽
回列表
Kubernetes

凌晨四點,女友帶著 GPU 來我家學習 Kubernetes:打造 K8s AI Infra 的 30 夜 系列

『 凌晨四點不一定要吃牛肉麵,玩一下 Kubernetes 也不錯 』

這個系列以 DRA 正式釋出為契機,想用三十天研究 Kubernetes X GPU X AI Infra。

內容將涵蓋 GPU 怎麼進到容器裡、DRA 動態資源配置、排程、高效能網路、推論引擎、KV cache、閘道與服務平台等技術,透過三十天希望能產出屬於我的筆記。

這三十天會用兩套叢集做實驗:假卡驗機制,真卡驗效果。

參賽天數 20 天 | 共 20 篇文章 | 1 人訂閱 訂閱系列文 RSS系列文
DAY 1

【Day 1】到底有什麼毛病啊,凌晨四點不睡覺學習 Kubernetes AI Infra

前言 凌晨四點,多數人還沉浸於夢鄉之中,儘管未到破曉之時,相信已經有許多人悄悄睜開雙眼,享受這靜謐的城市。 凌晨四點,或許派大星剛享用完他的美味蟹堡,或許哲哲正...

2026-09-15 ‧ 由 minny 分享
DAY 2

【Day 2】AI Infra 前哨站:一句話丟進模型,GPU 上發生了什麼

相信學習一項新技術之前,最基本底子要先打好。就像派大星想組樂隊,卻不知道美乃滋跟芥末醬不是一種樂器,那這樣接下來學習的路會走得很艱辛。 Day 2 要來補一些基...

2026-09-16 ‧ 由 minny 分享
DAY 3

【Day 3】Device Plugin 的極限:一張卡一個整數,贏者全拿

你的部門剛採購了一張 RTX 4090 好不容易把預算批下來,你的部門買了一張 RTX 4090,24GB 的記憶體,插在那台大家共用的機器上。 第一個來申請的...

2026-09-17 ‧ 由 minny 分享
DAY 4

【Day 4】Kubernetes DRA:為你的 GPU 實現動態資源分配

終於來到 Day4 拉,今天的內容也是整個我展開這三十天的契機,也就是 DRA,全名 Dynamic Resource Allocation。DRA 在 Kub...

2026-09-18 ‧ 由 minny 分享
DAY 5

【Day 5】如果是勇者欣梅爾的話,隔天一定也會繼續學 DRA

努力學習 DRA 的人都是戰士。昨天 Day4 我們介紹了 DRA 的一些基礎能做到的事,Day5 就來稍微玩一下他的進階功能吧,我們沿用昨天的環境,並把昨天建...

2026-09-19 ‧ 由 minny 分享
DAY 6

【Day 6】NVIDIA GPU 共享機制:Time-Slicing、MPS、MIG 與 vGPU

今天來點輕鬆的,沒有跑實驗純介紹,理由很簡單,因為有些東西我們跑不起。 Day 5 我們讓 DRA 把一張卡切成好幾塊,還讓兩個 Pod 分著用同一塊。但整個過...

2026-09-20 ‧ 由 minny 分享
DAY 7

【Day 7】HAMi:這顆哈密瓜沒有哈味,但它讓你在 GPU 上無窮回味

DRA 讓「我要一張卡」變成叢集裡的一個物件,也讓多個 Pod 共用同一張卡變得可能。但那個共用是整張卡一起共用:幾個 Pod 參照同一份 ResourceCl...

2026-09-21 ‧ 由 minny 分享
DAY 8

【Day 8】Kueue:Kubernetes 上的工作准入與配額管理

前面幾天討論的都是「怎麼切」。DRA 讓使用者說得出要哪一張卡、要多少;HAMi 讓那個數字在容器裡被真正執行。 但這些機制都建立在同一個前提上:Pod 已經被...

2026-09-22 ‧ 由 minny 分享
DAY 9

【Day 9】Volcano:你是否在火山救過一組永遠拿不到 GPU 的 Pod

昨天介紹的 Kueue 決定「這個 Job 現在該不該開始」:Job 建立時被設為暫停,取得額度並被准入後才解除暫停。但 Kueue 不負責 Pod 放到哪個節...

2026-09-23 ‧ 由 minny 分享
DAY 10

【Day 10】KAI Scheduler:用被搶佔的風險,換配額外的資源

前面兩天的排隊是同一個形狀:資源不夠就等。 Kueue 問「你有沒有額度」,沒有就把 Job 壓在 suspend;Volcano 問「你湊不湊得齊」,湊不齊就...

2026-09-24 ‧ 由 minny 分享