鐵人檔案
LLM、Embedding、ASR 與批次任務同時使用 GPU 時，真正困難的不只是部署，而是如何有效治理有限資源。本系列聚焦 Kubernetes 上的 GPU AI 工作負載，從 GPU Discovery、Scheduling、Affinity、Taints、Priority 與 ResourceQuota，延伸到模型推論服務、資源隔離、VRAM 競爭、故障復原與可觀測性，透過實驗與量測建立可重現的 GPU 工作負載治理方法。
前一篇討論「GPU Sharing：Time-Slicing、MPS 與 MIG 的取捨」，這篇聚焦「先把推論服務容器化：AI Serving 的 Image...
前一篇處理「先把推論服務容器化：AI Serving 的 Image 應該怎麼做」，這篇進一步討論「把 vLLM 部署到 Kubernetes：從單 Pod 到...
完成「把 vLLM 部署到 Kubernetes：從單 Pod 到可管理服務」後，下一個問題是「模型放哪裡：PVC、Local Disk、Object Stor...
延續「模型放哪裡：PVC、Local Disk、Object Storage 與 Cache」，這篇聚焦「Startup、Readiness、Liveness：...
前一篇討論「Startup、Readiness、Liveness：模型還沒載完時不要說 Ready」，這篇聚焦「HPA 對 GPU 推論夠用嗎？」，並沿用同一組...
前一篇處理「HPA 對 GPU 推論夠用嗎？」，這篇進一步討論「用 Queue／Latency 來擴縮：把 Autoscaling 跟 SLO 接起來」。共同的...
完成「用 Queue／Latency 來擴縮：把 Autoscaling 跟 SLO 接起來」後，下一個問題是「多模型部署：一個 Deployment 一個模型...
延續「多模型部署：一個 Deployment 一個模型，還是集中 Serving」，這篇聚焦「LLM、Embedding、ASR 同叢集：工作負載優先級怎麼訂」...
前一篇討論「LLM、Embedding、ASR 同叢集：工作負載優先級怎麼訂」，這篇聚焦「GPU Contention Benchmark：共享之後真的比較划算...
前一篇處理「GPU Contention Benchmark：共享之後真的比較划算嗎」，這篇進一步討論「Scheduler 實驗：Affinity、Priori...
