前言
昨天介紹了如何在 GKE 中使用 GPU 節點部署 Mixtral-8x7B-Instruct-v0.1 模型。然而讀者有沒有發現問題,部署過程中使用需...
Kubernetes 作為現代應用程序的主要編排工具,能夠幫助開發者和運維團隊高效地管理和調度容器化工作負載。為了確保集群的資源分配和管理更加靈活、穩定,Kub...
Day-25 服務的部署策略 - Argo Rollouts
前言
昨天使用 Ingress NGINX Controller 實作了以下部署策略:
藍綠部署...
前面提到設定 resources.limits.cpu 會造成 CPU throttling,造成資源沒有效率的應用,也影響到應用程式的表現,Kubernete...
前言
今年 AI 的蓬勃發展,特別是大型語言模型 (LLM) 的興起,對運算資源的需求大幅提升。執行像 Mixtral-8x7B 等複雜模型的推論(Infer...
昨天的章節,我們實作了 Recreate,Rolling update 兩個部署策略。今天來繼續實作剩下的策略。
實作: Canary
在 Kubernetes...