2024 iThome 鐵人賽
Share More Gain More
Kubernetes
選手 19 文章 425
Day 25
2024-10-09
159
0
前言 昨天介紹了如何在 GKE 中使用 GPU 節點部署 Mixtral-8x7B-Instruct-v0.1 模型。然而讀者有沒有發現問題,部署過程中使用需...
Day 25
2024-10-09
143
0
Kubernetes 作為現代應用程序的主要編排工具,能夠幫助開發者和運維團隊高效地管理和調度容器化工作負載。為了確保集群的資源分配和管理更加靈活、穩定,Kub...
Day 25
2024-10-09
122
0
Day-25 服務的部署策略 - Argo Rollouts 前言 昨天使用 Ingress NGINX Controller 實作了以下部署策略: 藍綠部署...
Day 29
2024-10-08
107
0
前面提到設定 resources.limits.cpu 會造成 CPU throttling,造成資源沒有效率的應用,也影響到應用程式的表現,Kubernete...
Day 24
2024-10-08
282
0
前言 今年 AI 的蓬勃發展,特別是大型語言模型 (LLM) 的興起,對運算資源的需求大幅提升。執行像 Mixtral-8x7B 等複雜模型的推論(Infer...
Day 24
2024-10-08
87
0
昨天的章節,我們實作了 Recreate,Rolling update 兩個部署策略。今天來繼續實作剩下的策略。 實作: Canary 在 Kubernetes...